Avaliação conjunta para o português
Linguateca
This page in English
"Avaliação conjunta" é um modelo de avaliação em que vários grupos comparam, com base num conjunto de tarefas consensuais, o progresso dos seus sistemas numa dada área, usando para isso um conjunto de recursos comum, e uma métrica consensual. Este modelo, conhecido internacionalmente pela designação de evaluation contest ou evaluation campaign, foi por nós traduzido por avaliação conjunta para dar mais ênfase à cooperação e menos à competição.
Veja-se os recentes livros publicados sobre o tema:
- Diana Santos (ed.). Avaliação conjunta: um novo paradigma no processamento computacional da língua portuguesa. IST Press, Lisboa, 2007. ISBN: 972-8469-60-8 [Encomendas] [Índice]
- Diana Santos & Nuno Cardoso (eds.) Reconhecimento de entidades mencionadas em português: Documentação e actas do HAREM, a primeira avaliação conjunta na área. Linguateca, 2007. ISBN: 978-989-20-0731-1 (versão electrónica); ISBN 978-989-20-1297-1 (versão em papel, Lisboa, 2008) [Acesso]
- Cristina Mota &a,p; Diana Santos (eds.). Desafios na avaliação conjunta do reconhecimento de entidades mencionadas: O Segundo HAREM. Linguateca, 2008. ISBN: 978-989-20-1656-6 [Acesso]
A Linguateca iniciou no início de 2002 um processo para congregar esforços para avaliar as sub-áreas do processamento computacional do português. O objectivo último deste processo é dar origem a avaliações conjuntas em áreas determinadas, num processo participativo envolvendo a comunidade interessada.
De momento, as principais actividades da Linguateca nesta vertente são
- a organização, no que se refere ao português, do CLEF, avaliação conjunta em recolha de informação cruzada e resposta automática a perguntas, etc.
O processo de dinamização levou já aos seguintes resultados, por ordem aproximadamente cronológica
- a disponibilização de página iniciadora, com motivação e exemplos (recuperação de informação, corpora anotados)
- a criação de uma panorâmica das avaliações conjuntas existentes por todo o mundo
- a identificação de algumas aplicações e recursos passíveis de avaliação (lista de áreas), junto com um formulário para inscrição dos interessados (relação dos inscritos por áreas ordenadas por número de inscritos e as mesmas áreas ponderadas pela dispersão dos inscritos)
- a criação da lista avaliofilia para propiciar a discussão sobre a organização e o futuro, e
para discutir assuntos científicos e técnicos à volta da avaliação de sub-áreas
- um encontro preparatório em Faro associado ao PorTAL, que decorreu a 27 de Junho de 2002 (chamada, programa final com as apresentações acessíveis)
- o início da compilação de uma bibliografia sobre avaliação de engenharia da linguagem aplicada ao português
- o alargamento e disponibilização de uma bibliografia geral (em inglês) sobre avaliação em engenharia da linguagem
- a organização das Primeiras Morfolimpíadas para o português
- o início das actividades de avaliação de reconhecimento de entidades mencionadas (REM): Identificação e estudo preliminar dos requisitos (2003)
- o início das actividades de avaliação de tradutores automátios para ou de português
- o início das actividades de avaliação em recolha de informação em português
- o Avalon'2003, o primeiro Encontro de Avaliação Conjunta de Sistemas de Processamento Computacional do Português, que decorreu em Faro a 28 de Junho de 2003, como satélite do PROPOR 2003.
- a publicação do primeiro livro sobre este paradigma em português e sobre o português, com 24 capítulos e 30 autores
- a organização da primeira avaliação conjunta em reconhecimento de entidades mencionadas para o português, o Primeiro HAREM
- o Encontro do HAREM, a 15 de Julho de 2006, como satélite da Primeira Escola de Verão da Linguateca
- a publicação de um livro sobre o HAREM, com 20 capítulos e 21 autores.
- a organizaçao do GikiP no âmbito do CLEF
- a organização do Segundo HAREM, a segunda avaliação conjunta em reconhecimento de entidades mencionadas para o português
- o Encontro do Segundo HAREM, a 7 de Setembro de 2008, como satélite do PROPOR 2008
- a edição do livro referente ao Segundo HAREM, com 15 capítulos e 9 apêndices
- a organizaçao do GikiCLEF no âmbito do CLEF
Última actualização: 16 de Setembro de 2009.
Perguntas, comentários e sugestões