O HAREM (HAREM é uma Avaliação de Reconhecedores de Entidades Mencionadas) foi organizado pela Linguateca.
Os interessados em participar em futuras avaliações conjuntas, ou assistir à discussão em torno da sua organização, são instados a participar na lista de discussão avalia, inscrevendo-se através da página Definição das áreas -- Registo dos interessados.
Motivação
Um dos objectivos da Linguateca é
promover a participação de sistemas que trabalham com a língua
portuguesa em avaliações conjuntas,
de forma a que os investigadores envolvidos no desenho e criação desses
sistemas possam:
Além disso, permite avaliar outro tipo de capacidades daquelas já
objecto de estudo nas Morfolimpíadas e no CLEF. Por um lado, é mais
semântica, por outro, tem menos complexidade do que perguntas e
respostas ou identificação do tópico de um documento.
Para o construir, foi fornecido um subconjunto da colecção a cada participante, que o anotou automaticamente e reviu o resultado de acordo com as directivas. Esses bocados da colecção foram em seguida ainda revistos por anotadores independentes e por outros participantes.
Essa colecção foi depois "embrulhada" num conjunto de texto muito maior, a colecção HAREM, que foi distribuída aos participantes na própria avaliação conjunta.
A organização encarregou-se de fazer programas que medem a identificação e classificação das entidades mencionadas (EMs), de forma a classificar cada sistema. Adoptaram-se métricas diferentes para identificação e classificação, inspiradas nas usadas noutras iniciativas semelhantes.
Pediu-se, portanto, o seguinte trabalho aos participantes:
Assim, na colecção dourada, não tivemos contemplações para com os sistemas. De facto, estávamos a querer medir o limite superior (não especialmente -- por enquanto -- o limite inferior, a baseline, aquilo que qualquer sistema simples consegue). [A única excepção foi a questão da anáfora, que deveríamos ter resolvido também, mas que contamos marcar depois de ter decorrido o HAREM].
Em alguns casos, estamos conscientes de que é necessário um conjunto de informações muitíssimo complexo para decidir a referência, e portanto o tipo, de uma dada expressão.
Por exemplo, usar aspas, ser objecto / sujeito de um dado tipo de verbos, ou de certas preposições, ter género, ser transformado / transformável em siglas, etc.
Por outro lado, está claramente especificado (e portanto transformável) para todos os sistemas que queiram concorrer ao HAREM com um mínimo de penalização. (Basta remover as EMs só com minúsculas, assim como "reduzir" o tamanho das EMs a uma forma mais curta).
Por outro lado, uma propriedade saliente ao nível da semântica da linguagem natural é que é possível uma ocorrência em contexto ter mais de uma interpretação: é a vagueza. Além disso, é possível que o contexto (ou co-texto) não seja suficientemente rico para decidir entre as várias interpretações. Isto tem a ver com os limites da tarefa mesmo para uma pessoa. Ambas estas situações levaram a que a classificação "correcta", escolhida para figurar na CD, pudesse ter em alguns casos mais do que uma alternativa (com "|" e ALT).