HAREM - Avaliação de Reconhecimento de Entidades Mencionadas

Linguateca - 2006.
  Versão para impressão
IMPORTANTE: Este sítio diz respeito ao Primeiro HAREM, que terminou em 2006, e encontra-se encerrado. O sítio actual do HAREM encontra-se em /HAREM.


Caros participantes,

Finalmente podemos anunciar os resultados da tarefa de identificação, comparativos e individuais.

(É preciso avisar que descobrimos alguns pequenos problemas nos resultados individuais que tornámos públicos há alguns dias, por isso colocámos um novo conjunto de resultados nas vossas áreas individuais.)
Convém talvez explicar algumas das razões do atraso na publicação de resultados, que não tem a ver com falta de trabalho no HAREM por parte da organização! Temos trabalhado continuamente no assunto.

O que nos atrasou mais foi

1) a necessidade de lidar de uma forma aceitável com os casos das EMs identificadas como parcialmente correctas

- restringir os casos em que fazia sentido comparar

- obter uma pontuação justa e suficientemente discriminante nos vários casos

2) os critérios de escolha de várias alternativas, que levam, o que não é irrelevante mas pode dar origem a alguma confusão na interpretação, a números de EMs diferentes tanto na CD como reconhecidos pelo sistema, em cada caso.

3) o desejo de garantir que não era possível reconhecer que sistema teve que pontuação, ou seja, tivemos de experimentar vários modelos de apresentação global dos vários casos, além de implementar uma anonimização automática que faz uma correspondência diferente para cada comparação /tabela de resultados.

Podemos pois apresentar os primeiros resultados globais, referentes à tarefa de IDENTIFICAÇÃO, em:

harem/global_todos.html
(TODAS: incluindo tb as participações não oficiais, enviadas fora do prazo)

harem/global_oficiais.html
(OFICIAIS: todas as participações oficiais, dentro do prazo)


Os sistemas que concorreram de forma selectiva (a itálico na tabela de resultados), aparecem duas vezes nas tabelas: um sobre a tarefa absoluta, outro sobre a selectiva. (Cada sistema receberá individualmente a chave -- o nome fictício pelo qual está representado em cada tabela.)

O sistema vencedor na tarefa de identificação total foi o PALAVRAS-NER. Nenhum sistema, nem na versão selectiva, obteve resultados melhores.

Contudo, e ao contrário das Morfolimpíadas, o vencedor não o foi simultaneamente na precisão, abrangência e medida F, ou seja, houve sistemas com melhor precisão e outros com melhor abrangência, como se pode ver facilmente nas tabelas. Por agora, contudo, não publicitamos o nome desses sistemas antes de conferenciar quer com os seus donos quer com a comissão de organização total.

Cada participante receberá em seguida a indicação da sua chave em cada uma das tabelas.

Saudações HARÉMicas,

Nuno Seco, Nuno Cardoso, Rui e Diana

Esta página e a sua informação não se encontra actualizada. Clique aqui para visitar o síio actual do HAREM.