Os objectivos de uma tal conferência, convém salientar, são predominantemente científicos. De facto, há muito que foram explicados a necessidade e o valor da avaliação, e a sua capacidade de detectar problemas interessantes para investigação (veja-se motivação detalhada). Há uma consciência clara de que a área como um todo só tem a ganhar com maior atenção a esta questão.
O que se pretende, com esta iniciativa, é
Para preparar esse encontro preparatório, ou vários encontros, é preciso que se identifiquem, desde já, as áreas em que é possível começar a avaliar, definir critérios e comparar sistemas.
Dado que para muitas áreas ainda não é viável comparar programas totalmente operacionais, alargou-se a noção de avaliação conjunta também para o caso em que apenas a especificação de resultados a serem alcançados, suas métricas e os recursos necessários à sua avaliação sejam reunidos e tornados públicos para posterior utilização.
Por outro lado, também se considerou essencial proceder a uma avaliação conjunta de recursos, ou seja, definir metodologias de comparação e avaliação de léxicos, corpora, etc., visto que uma fracção considerável da comunidade se dedica à criação de recursos linguísticos sem ter em vista uma dada aplicação.
A participação da comunidade no(s) encontro(s) preparatório(s) para a avaliação conjunta é fundamental para definir os grupos de trabalho e para escolher quem vai fazer o quê. Por outro lado, é preciso salientar que essa participação deverá ser remunerada, como qualquer outra actividade científica, e o processo de remuneração objectivamente calculado com base no programa de trabalho definido por cada sub-área. Note-se também, desde já, que a participação numa avaliação conjunta de sistemas ou grupos que não contribuíram para os critérios / recursos de avaliação dessa sub-área pode vir a prejudicar os mesmos, dado que não contribuíram para a especificação dos problemas e ponderação dos critérios.
| análise morfológica | geração morfológica |
| análise sintáctica | geração sintáctica |
| análise estilística | planejamento de texto |
| análise textual | análise semântica |
| correcção ortográfica | correcção sintáctica |
| correcção estilística | simplificação de texto |
| recuperação de informação | extracção de informação |
| identificação de nomes próprios | resposta automática a perguntas |
| atomização ("tokenization") | separação de frases |
| identificação de língua | identificação de repetição / reutilização de texto |
| tradução automática | sumarização |
| sistemas de diálogo | documentação automática |
| indexação | extracção de termos |
| classificação de texto | classificação de termos |
| extracção de relações semânticas | resolução de anáforas |
| desambiguação de sentidos | alinhamento de textos paralelos |
A preocupação inicial não é com questões de desempenho (velocidade, memória, portabilidade), mas sim com questões de adequação linguística e adequação à tarefa a resolver, ainda que, não se exclua, se tal for do consenso da comunidade, que esses parâmetros possam vir a ser considerados relevantes para algumas áreas.
É também preciso reunir uma metodologia que permita avaliar os seguintes recursos linguísticos computacionais, para os quais se apela à inscrição no mesmo formulário.
| léxicos monolingues | léxicos bilingues ou multilingues |
| terminologias monolingues | terminologias multilingues |
| corpora alinhados | corpora anotados |
| tesauros | dicionários de sinónimos |
Para estes casos, além de testar propriedades formais como consistência e robustez, deve dar-se preferência ao teste dentro de diversas aplicações.
De notar também que muitas destas áreas podem ser subdivididas em subquestões (ou fundidas em tarefas mais genéricas), se tal for considerado pertinente pelo grupo associado à área. Por exemplo, a análise sintáctica pode ser decomposta, entre outras coisas, em
Dado que para várias destas áreas já houve iniciativas semelhantes para outras línguas, é possível escolher entre duas estratégias: