MUC - Message Understanding Conference
Tarefa: Simulação de um analista do serviço de inteligência procurando informações a respeito de um tópico particular.
- Ex: Atividades terroristas nas Américas.
Inicialmente utilizou um corpus contendo mensagens da Marinha dos EUA e depois evoluiu para textos jornalísticos e em vários domínios, incluindo em outras línguas.
Avaliação baseada em preenchimento de gabaritos (templates)
- Identificação de entidades citadas: pessoa, organização, localização, tempo, data, percentuais e expressões monetárias.
- Template elements: uma lista de entidades com seus atributos associados, tais como formas alternativas de um nome.
- Identificação de coreferência: ligar as várias menções da mesma entidade.