Avaliação conjunta para o português

"Avaliação conjunta" é um modelo de avaliação em que vários grupos comparam, com base num conjunto de tarefas consensuais, o progresso dos seus sistemas numa dada área, usando para isso um conjunto de recursos comum, e uma métrica consensual. Este modelo, conhecido internacionalmente pela designação de evaluation contest ou evaluation campaign, foi por nós traduzido por avaliação conjunta para dar mais ênfase à cooperação e menos à competição.

Veja-se os recentes livros publicados sobre o tema:

Diana Santos (ed.). Avaliação conjunta: um novo paradigma no processamento computacional da língua portuguesa. IST Press, Lisboa, 2007. ISBN: 972-8469-60-8 [Encomendas] [Índice]
Diana Santos & Nuno Cardoso (eds.) Reconhecimento de entidades mencionadas em português: Documentação e actas do HAREM, a primeira avaliação conjunta na área. Linguateca, 2007. ISBN: 978-989-20-0731-1 (versão electrónica); ISBN 978-989-20-1297-1 (versão em papel, Lisboa, 2008) [Acesso]
Cristina Mota &a,p; Diana Santos (eds.). Desafios na avaliação conjunta do reconhecimento de entidades mencionadas: O Segundo HAREM. Linguateca, 2008. ISBN: 978-989-20-1656-6 [Acesso]

A Linguateca iniciou no início de 2002 um processo para congregar esforços para avaliar as sub-áreas do processamento computacional do português. O objectivo último deste processo é dar origem a avaliações conjuntas em áreas determinadas, num processo participativo envolvendo a comunidade interessada.

De momento, as principais actividades da Linguateca nesta vertente são

a organização, no que se refere ao português, do CLEF, avaliação conjunta em recolha de informação cruzada e resposta automática a perguntas, etc.

O processo de dinamização levou já aos seguintes resultados, por ordem aproximadamente cronológica

a disponibilização de página iniciadora, com motivação e exemplos (recuperação de informação, corpora anotados)
a criação de uma panorâmica das avaliações conjuntas existentes por todo o mundo
a identificação de algumas aplicações e recursos passíveis de avaliação (lista de áreas), junto com um formulário para inscrição dos interessados (relação dos inscritos por áreas ordenadas por número de inscritos e as mesmas áreas ponderadas pela dispersão dos inscritos)
a criação da lista avaliofilia para propiciar a discussão sobre a organização e o futuro, e para discutir assuntos científicos e técnicos à volta da avaliação de sub-áreas
um encontro preparatório em Faro associado ao PorTAL, que decorreu a 27 de Junho de 2002 (chamada, programa final com as apresentações acessíveis)
o início da compilação de uma bibliografia sobre avaliação de engenharia da linguagem aplicada ao português
o alargamento e disponibilização de uma bibliografia geral (em inglês) sobre avaliação em engenharia da linguagem
a organização das Primeiras Morfolimpíadas para o português
o início das actividades de avaliação de reconhecimento de entidades mencionadas (REM): Identificação e estudo preliminar dos requisitos (2003)
o início das actividades de avaliação de tradutores automátios para ou de português
o início das actividades de avaliação em recolha de informação em português
o Avalon'2003, o primeiro Encontro de Avaliação Conjunta de Sistemas de Processamento Computacional do Português, que decorreu em Faro a 28 de Junho de 2003, como satélite do PROPOR 2003.
a publicação do primeiro livro sobre este paradigma em português e sobre o português, com 24 capítulos e 30 autores
a organização da primeira avaliação conjunta em reconhecimento de entidades mencionadas para o português, o Primeiro HAREM
o Encontro do HAREM, a 15 de Julho de 2006, como satélite da Primeira Escola de Verão da Linguateca
a publicação de um livro sobre o HAREM, com 20 capítulos e 21 autores.
a organizaçao do GikiP no âmbito do CLEF
a organização do Segundo HAREM, a segunda avaliação conjunta em reconhecimento de entidades mencionadas para o português
o Encontro do Segundo HAREM, a 7 de Setembro de 2008, como satélite do PROPOR 2008
a edição do livro referente ao Segundo HAREM, com 15 capítulos e 9 apêndices
a organizaçao do GikiCLEF no âmbito do CLEF

Última actualização: 16 de Setembro de 2009.

Perguntas, comentários e sugestões