-----Original Message-----
From: Thiago A. Salgueiro Pardo
To: merlin@linguateca.pt
Sent: 20/5/2003 16:50
Subject: Re: [Merlin] tarefa conjunta de avaliacao de RI e SA

Deixando de lado a discussão sobre corpus por enquanto, sugiro uma possível forma de avaliação de RI utilizando sumarização automática (que considero a mais interessante).

Nós, do projeto EXPLOSA (sob supervisão da Lucia Rino), temos um sumarizador automático extrativo que é genérico o suficiente para ser aplicado a praticamente qualque tipo e gênero de texto. Inclusive, esse sistema, chamado GistSumm, participou da avaliação do DUC deste ano e se saiu relativamente bem.

Após ter o corpus para a avaliação selecionado, os tópicos das consultas e as métricas de avaliação de RI determinadas (que, imagino, serão determinados durante o encontro em Faro), juntamente com a avaliação de RI "pura", seria possível proceder a uma avaliação de RI utilizando sumarização da seguinte forma:
1) utilizando o GistSumm, geramamos sumários curtos para os textos do corpus, constituindo uma outra base a consultar
2) fazemos as consultas sobre a base de textos e avaliamos (pelas medidas de recall, precision, etc.)
3) fazemos as consultas sobre a base de sumários (sem considerar os textos-fonte) e avaliamos também
4) por fim, comparamos os resultados, vendo o que melhorou e o que piorou na recuperação dos documentos relevantes.

Obviamente, essa proposta acarreta esforço extra na avaliação, pois o trabalho da avaliação teria que ser duplicado para a base de sumários.

Imagino que a inclusão da sumarização em RI, como proposta acima, não influencie os critérios de avaliação de RI, podendo estes ser quaisquer critérios que se queira (mas posso estar enganado, pois não conheço em detalhes a área de RI).

Essa seria uma forma de fazermos uma avaliação extrínseca da sumarização em RI, verificando os ganhos da RI com o uso da sumarização (caso haja algum), a adequação da sumarização a esta tarefa, etc.

Imagino também que o pessoal da RI possa dar mais sugestões nesse tipo de avaliação. De qualquer forma, fica mais essa proposta para pensarmos para o encontro em Faro.

Thiago