Versão para impressão

IMPORTANTE: Este sítio diz respeito ao Primeiro HAREM, que terminou em 2006, e encontra-se encerrado. O sítio actual do HAREM encontra-se em /HAREM.

Caros participantes no HAREM, Depois de um período de férias temporalmente distribuídas, a equipa do HAREM voltou a reunir-se toda e tem o prazer de vos anunciar finalmente os resultados da classificação semântica, no URL do costume.
www.linguateca.pt/HAREM/ -> Classificação

Em duas palavras, podemos dizer que, quanto à semântica, os vencedores inconstestáveis foram o PALAVRAS-NER no cenário absoluto e o ELLE no relativo.

Visto que, conforme as medidas consideradas, houve vencedores diferentes, apresentamos aqui uma breve descrição das diferenças entre as várias medidas, e as distinções que elas pretendem reflectir:

- A medida "por categorias" mede apenas o desempenho dos sistemas na (sub)tarefa de atribuição de categorias (PESSOA, LOCAL, etc.) sem contar com a subcategorização expressa no TIPO.

- A medida CSC (classificação semântica combinada), além de contar com a categoria, tenta além disso premiar a atribuição de tipo com base na atribuição correcta da subcategorização (valor do TIPO) e no número de subclassificações desse tipo (uma espécie de medida de perplexidade: quanto maior for o número de distinções, mais é premiado o acertar na certa).

- A medida "plana" considera os pares categoria-tipo como folhas de uma classificação plana, considerando apenas como certos os casos que tenham categoria e tipo correctos.

- Finalmente, a medida "por tipos" mede apenas a capacidade de subtipificação, dentro das categorias, ou seja, é uma medida relativa por excelência, e mede a capacidade de distinguir entre as várias tipos, da mesma forma que a por categorias. Só entra em conta com os casos em que a categoria está certa.

Para as três primeiras medidas, é fornecido um cenário absoluto (em que todas as EMs da CD contam) e um cenário relativo, em que apenas as EMs correctamente identificadas (e/ou parcialmente correctamente identificadas) contam.

Quando a identificação é parcial, os valores de correcção são multiplicados pelo peso já atribuído na tarefa de identificação (multiplicado por dois), que mede o grau de sobreposição das EMs. Além disso, e para facilitar a leitura dos resultados, cada participante tem na sua área privada, uma cópia desses mesmos resultados com o nome do seu sistema, para mais fácil inspecção, nos ficheiros:

identificacao_absoluto_oficiais.html
identificacao_selectivo_oficiais.html
identificacao_genero_oficiais.html
identificacao_variante_oficiais.html
identificacao_categoria_oficiais.html

e

identificacao_absoluto_todos.html
identificacao_selectivo_todos.html
identificacao_genero_todos.html
identificacao_variante_todos.html
identificacao_categoria_todos.html

e

semantica_absoluto_oficiais.html
semantica_selectivo_oficiais.html
semantica_genero_oficiais.html
semantica_variante_oficiais.html
semantica_categoria_oficiais.html

e

semantica_absoluto_todos.html
semantica_selectivo_todos.html
semantica_genero_todos.html
semantica_variante_todos.html
semantica_categoria_todos.html

E agora aproveitamos para dar os parabéns aos diversos vencedores, e prometemos que em breve mais informação vos será enviada.

A organização do HAREM
Nuno Seco, Nuno Cardoso, Rui e Diana