HAREM - Avaliação de Reconhecimento de Entidades Mencionadas

Linguateca - 2006.
  Versão para impressão

HAREM - Classificação Final

Tarefa de Identificação
Tarefa de Classificação Morfológica
Tarefa de Classificação Semântica


Tarefa de Identificação

Vencedores (considerando apenas saídas oficiais)

Medida TOTAL
1º Lugar
SELECTIVO
1º Lugar
Precisão ELLE (80,64%) PALAVRAS_NER (78,50%)
Abrangência SIEMES1 (84,35%) SIEMES1 (84,35%)
Medida F PALAVRAS-NER (0,8061) PALAVRAS-NER (0,8061)

Saídas oficiais

Cenário Total
Cenário Selectivo

Saídas oficiais e não-oficiais

Cenário Total
Cenário Selectivo


Tarefa de Classificação Morfológica

Vencedores (considerando apenas saídas oficiais)

Medida F Cenário: TOTAL
Forma: ABSOLUTO
1º Lugar
Cenário: TOTAL
Forma: RELATIVO
1º Lugar
Cenário: SELECTIVO
Forma: ABSOLUTO
1º Lugar
Cenário: SELECTIVO
Forma: RELATIVO
1º Lugar
Género
PALAVRAS-NER (0.6485) PALAVRAS-NER (0.6986) PALAVRAS-NER (0.6485) PALAVRAS-NER (0.6986)
Número
PALAVRAS-NER (0,8014) PALAVRAS-NER (0.8632) PALAVRAS-NER (0,8014) PALAVRAS-NER (0.8632)
Combinada
PALAVRAS-NER (0,6384) PALAVRAS-NER (0.6877) PALAVRAS-NER (0,6384) PALAVRAS-NER (0.6877)

Notas:
Eixo de cenário Total vs. Selectivo: considerar todas as categorias/tipos do HAREM na avaliação, ou só as categorias/tipos que o sistema se propôs processar.
Eixo de forma de avaliação absoluto vs. relativo: considerar todas as EMs na CD na avaliação, ou só as que foram correctamente identificadas pelo sistema.

Saídas oficiais

Cenário Total
Cenário Selectivo

Saídas oficiais e não-oficiais

Cenário Total
Cenário Selectivo


Tarefa de Classificação Semântica

Vencedores (considerando apenas saídas oficiais)

Medida F Cenário: TOTAL
Forma: ABSOLUTO
1º Lugar
Cenário: TOTAL
Forma: RELATIVO
1º Lugar
Cenário: SELECTIVO
Forma: ABSOLUTO
1º Lugar
Cenário: SELECTIVO
Forma: RELATIVO
1º Lugar
Categorias PALAVRAS-NER (0,6301) CORTEX2 (0,7171) PALAVRAS-NER (0,6301) CAGE3 (0,8161)
Tipos - ELLE (0,8497) - NOOJ1 (0,8917)
Combinada PALAVRAS-NER (0,5829) ELLE (0,6812) PALAVRAS-NER (0,5829) ELLE (0,7327)
Plana PALAVRAS-NER (0,5293) ELLE (0,6548) ELLE (0,5487) ELLE (0,7044)

Notas:
Eixo Total vs. Selectivo: considerar todas as categorias/tipos do HAREM na avaliação, ou só as categorias/tipos que o sistema se propôs processar.
Eixo absoluto vs. relativo: considerar todas as EMs na CD na avaliação, ou só as que foram correctamente identificadas pelo sistema.
A medida de classificação semântica por tipos é sempre relativa.

Saídas oficiais

Cenário Total
Cenário Selectivo

Saídas oficiais e não-oficiais

Cenário Total
Cenário Selectivo
Última actualização: 18/11/2005 10:17:12