A avaliação estendida do TEMPO foi feita num subconjunto da Colecção Dourada (miniCD TEMPO) em todos os cenários de que a categoria TEMPO faz parte:
- Total: Avaliação comparando todas as entidades na miniCD TEMPO com todas as entidades na saída do sistema.
- Selectivo 2, 4, 6 e categoria TEMPO: Cenários propostos pelos participantes em que TEMPO está presente.
Começamos por apresentar os resultados, no subconjunto da CD usada para avaliar o TEMPO, nesses mesmos cenários para que seja possível aos participantes comparar mais facilmente os resultados.
Note-se, no entanto, que os resultados das três pistas do TEMPO não são directamente comparáveis entre si (nem com a avaliacao clássica), visto que correspondem a classificações máximas diferentes:
tarefas mais difíceis (como tentar fazer a normalização e produzir atributos estendidos, ou seja o TEMPO estendido completo) podem ter valores mais baixos do que se se tentar apenas fazer uma das sub-tarefas.
- Participantes na categoria TEMPO: Cage2 (sem TIPOs), PorTexTO, Priberam, REMBRANDT, REMMA (sem SUBTIPOs), SeRELeP e XIP-L2F/Xerox.
- Participantes nos atributos SENTIDO e TEMPO_REF: Priberam (só TEMPO_REF) e XIP-L2F/Xerox.
- Participante em normalização: XIP-L2F/Xerox.
A seguinte tabela mostra os melhores sistemas no HAREM clássico usando como CD a miniCD TEMPO.
| Medida |
Total |
TEMPO |
Selectivo 2 |
Selectivo 4 |
Selectivo 6 |
| Medida-F |
XIP-L2F/Xerox_3 (0,5720054744505245) |
XIP-L2F/Xerox_3 (0,7476938291813765) |
XIP-L2F/Xerox_3 (0,6444764303706392) |
XIP-L2F/Xerox_3 (0,5699870378769175) |
XIP-L2F/Xerox_3 (0,5850927710990399) |
| Precisão |
SEIGeo_4 (0,7958026306728174) |
XIP-L2F/Xerox_no (0,7689280980781995) |
SEIGeo_4 (0,7850249711380854) |
SEIGeo_4 (0,8114633709475182) |
SEIGeo_4 (0,7944455071909301) |
| Abrangência |
REMBRANDT_3_corr (0,5014794152125343) |
XIP-L2F/Xerox_3 (0,7580210206057283) |
XIP-L2F/Xerox_3 (0,5675508072906277) |
Priberam_1 (0,5041262280593802) |
Priberam_1 (0,5107321473416074) |
Melhores sistemas no HAREM tomando em conta todos os atributos de TEMPO.
| Medida |
Total |
TEMPO |
Selectivo 2 |
Selectivo 4 |
Selectivo 6 |
| Medida-F |
XIP-L2F/Xerox_3 (0,5899649947093991) |
XIP-L2F/Xerox_3 (0,7518252220137263) |
XIP-L2F/Xerox_3 (0,6483731802192736) |
XIP-L2F/Xerox_3 (0,5771252748375991) |
XIP-L2F/Xerox_3 (0,6024174035693134) |
| Precisão |
SEIGeo_4 (0,7958026306728174) |
XIP-L2F/Xerox_no (0,8267170581311734) |
SEIGeo_4 (0,7850249711380854) |
SEIGeo_4 (0,8114633709475182) |
SEIGeo_4 (0,7944455071909301) |
| Abrangência |
XIP-L2F/Xerox_3 (0,5032680282335436) |
XIP-L2F/Xerox_3 (0,702426194792425) |
XIP-L2F/Xerox_3 (0,5676044681600642) |
XIP-L2F/Xerox_3 (0,4908814241731962) |
XIP-L2F/Xerox_3 (0,5234947061804159) |
Melhores sistemas no HAREM tomando em conta todos os atributos de TEMPO excepto normalização.
| Medida |
Total |
TEMPO |
Selectivo 2 |
Selectivo 4 |
Selectivo 6 |
| Medida-F |
XIP-L2F/Xerox_3 (0,5825741106867943) |
XIP-L2F/Xerox_3 (0,7600235479563067) |
XIP-L2F/Xerox_3 (0,6552464325843125) |
XIP-L2F/Xerox_3 (0,580996490021062) |
XIP-L2F/Xerox_3 (0,5954213039707461) |
| Precisão |
SEIGeo_4 (0,7958026306728174) |
XIP-L2F/Xerox_no (0,7955380425205667) |
SEIGeo_4 (0,7850249711380854) |
SEIGeo_4 (0,8114633709475182) |
SEIGeo_4 (0,7944455071909301) |
| Abrangência |
XIP-L2F/Xerox_3 (0,49841301253744114) |
XIP-L2F/Xerox_3 (0,7471595798629445) |
XIP-L2F/Xerox_3 (0,5784548336834144) |
XIP-L2F/Xerox_3 (0,4967491627899939) |
XIP-L2F/Xerox_3 (0,519535017265749) |
Melhores sistemas no HAREM tomando em conta só os atributos de normalização de TEMPO.
| Medida |
Total |
TEMPO |
Selectivo 2 |
Selectivo 4 |
Selectivo 6 |
| Medida-F |
XIP-L2F/Xerox_3 (0,5802859720034809) |
XIP-L2F/Xerox_3 (0,7409839196819766) |
XIP-L2F/Xerox_3 (0,6373030381510826) |
XIP-L2F/Xerox_3 (0,566080534260394) |
XIP-L2F/Xerox_3 (0,5929796105463881) |
| Precisão |
SEIGeo_4 (0,7958026306728174) |
XIP-L2F/Xerox_no (0,8146260630315173) |
SEIGeo_4 (0,7850249711380854) |
SEIGeo_4 (0,8114633709475182) |
SEIGeo_4 (0,7944455071909301) |
| Abrangência |
XIP-L2F/Xerox_3 (0,4935590749822917) |
XIP-L2F/Xerox_3 (0,6970397987602206) |
XIP-L2F/Xerox_3 (0,5562272602173579) |
Priberam_1 (0,4942082945713301) |
XIP-L2F/Xerox_3 (0,5141584228570023) |