HAREM - Avaliação de Reconhecimento de Entidades Mencionadas

Linguateca - 2006.
  Versão para impressão

Notícias


22/Jun/2006 - Colecção Dourada de 2006 disponível.
A Colecção Dourada de 2006, usada para a geração de resultados no MiniHAREM, já se encontra disponível a todos, na secção da Colecção Dourada. Aconselha-se também os participantes a usar os novos pacotes de software de avaliação, que foram actualizados (pacote JAVA, v1.1, de 7-Jun-2006, e pacote PERL v1.2.2, de 22-Jun-2006).
22/Jun/2006 - Primeiro esboço do calendário do Encontro HAREM
Encontra-se já disponível um esboço do calendário do Encontro HAREM, marcado para o dia 15 de Julho de 2006, na FLUP.
19/Jun/2006 - Resultados do MiniHAREM disponíveis
Os resultados do MiniHAREM foram divulgados, e os relatórios de desempenho foram entregues aos participantes. Ao mesmo tempo, foi comunicado aos participantes um conjunto de questões e de problemas em relação à avaliação do MiniHAREM e do HAREM, queserão debatidos com mais profundidade no encontro HAREM.
8/Jun/2006 - Actualizações no sítio do HAREM, e preparativos do Encontro HAREM
Enquanto os resultados estão a ser preparados e ultimados, a sítio do HAREM teve algumas actualizações, de maneira a preparar os novos anúncios e recusros disponíveis:
7/6/2006 - Chamada de trabalhos para o MiniHAREM
Foi divulgada para a mailing-list do HAREM uma chamada de trabalhos para o Encontro HAREM que se vai realizar no próximo dia 15 de Julho, na FLUP, no Porto. Contamos com a presença e colaboração de todos, contribuindo com apresentações, sugestões e entusiasmo.
3 a 5/Abr/2006 - MiniHAREM
O MiniHAREM teve início às 12h do dia 3 de Abril. Após 48 horas, 5 participantes submeteram 20 saídas. Parabéns a todos os participantes. A organização irá agora processar as saídas, e publicará os relatórios de desempenho dos sistemas.
29/Mar/2006 - Preparativos para o MiniHAREM
O MiniHAREM caminha a passos largos. O sítio apresena agora uma secção sobre o MiniHAREM, mais informação sobre o Encontro HAREM, e também apresenta as novas Directivas para a identificação, classificação morfológica e semântica a usar no MiniHAREM, bem como as diferenças entre as duas últimas versões.
28/Out/2005 - Divulgação dos relatórios individuais aos participantes.
Foram divulgados os relatórios individuais de cada saída. Estes relatórios resumem, num conjunto de tabelas e gráficos, o desempenho de cada sistema, comparado com os restantes. Foi enviada uma comunicação aos participantes, com instruções para aceder aos relatórios.
29/Set/2005 - Divulgação de resultados aos participantes.
Foram divulgados novos resultados na tarefa de classificação morfológica.
06/Set/2005 - Divulgação de resultados aos participantes.
Foram divulgados novos resultados na tarefa de identificação, e os primeiros resultados da classificação semântica. Foi enviada uma comunicação aos participantes, com instruções para aceder aos novos resultados.
4/Jul/2005 - Divulgação de resultados aos participantes.
Foram divulgados novos resultados na tarefa de identificação e classificação morfológica. Foi enviada uma comunicação aos participantes, com instruções para aceder aos novos resultados.
23/Jun/2005 - Avaliação HAREM: Métodos e Medidas v2.4.
Este documento foi revisto em vários pontos, de acordo com os programas de avaliação HAREM.
14/Jun/2005 - Divulgação dos resultados da tarefa de identificação, segundo os géneros, variantes e categorias.
Foram divulgados mais resultados, na tarefa de identificação de EMs, agrupados por géneros, variantes e categorias. Foi enviada uma comunicação aos participantes, com instruções para aceder aos novos resultados.
17/Jun/2005 - Primeiros resultados da tarefa de classificação morfológica.
Foram gerados os primeiros resultados da tarefa de classificação morfológica.
09/Jun/2005 - Divulgação dos resultados da tarefa de identificação.
Foram divulgados os resultados das saídas dos sistemas, na tarefa de identificação de EMs. Foi enviada uma comunicação aos participantes, com instruções para a interpretação dos resultados apresentados.
20/Mai/2005 - Comunicação aos participantes, e apresentação da página da Arquitectura do sistema de avaliação HAREM
Foi enviada uma comunicação aos participantes a relatar o estado em que se encontrava a avaliação HAREM. Os primeiros resultados da tarefa de identificação foram colocados na conta dos participantes.
20/Mai/2005 - Avaliação HAREM: Métodos e Medidas v2.2.
Este documento foi revisto, de acordo com os programas de avaliação utilizados no HAREM.
22/Abr/2005: CD v3.1.
Apresentação da arquitectura de avaliação dos sistemas. Revisão da CD (3.1), e disponibilização desta aos participantes.
20/Abr/2005 - Colecção Dourada v3.0 pronta, primeiros resultados divulgados.
A Colecção Dourada v3.0 está pronta, e será a colecção usada para o alinhamento das saídas dos sistemas dos participantes. Após semanas de desenvolvimento das ferramentas de avaliação, já se criou os ficheiros de alinhamento de EMs, o qual foi colocado no sítio HAREM e acessível aos respectivos participantes.
O documento 'Avaliação HAREM: Métodos e Medidas' foi revisto, com novas medidas de pontuação. Uma comunicação geral foi enviada para a lista do HAREM.
28/Fev/2005 - Colecção Dourada final (v2.0) está pronta.
Após uma semana com diversas revisões exaustivas, a Colecção Dourada final está finalmente pronta, na sua versão 2.0. É a partir desta colecção revista que a avaliação será realizada. Os participantes já receberam esta colecção, para comparar com os resultados que enviaram.
23/Fev/2005 - Avaliação HAREM: Métodos e medidas - revisão 1.2
Foi alterado a 'Avaliação HAREM: Métodos e medidas' para a v1.2. A única modificação foi no Caso 1 da Tabela 1, que tinha uma avaliação errada na v.1.1.
14/Fev/2005 - HAREM - A avaliação começou.
Foi colocado à disposição dos participantes a colecção de texto para submeter aos sistemas. Os participantes têm agora 48 horas para etiquetar automaticamente o ficheiro, e devolvê-lo ao HAREM.
14/Fev/2005 - Avaliação HAREM: Método e medidas
Foi distribuído pelos participantes um documento intitulado Avaliação HAREM: Método e medidas, que sumariza os métodos propostos pela Organização para avaliar o desempenho dos sistemas participantes, bem como as diversas medidas que se utilizarão para medir a eficiência dos sistemas nas tarefas de Identificação, Classificação Morfológica e Classificação Semântica.
18/Jan/2005 - Directivas e categorias para identificação e classificação na colecção dourada do HAREM v.3.1
Foram actualizadas as directivas, nomeadamente, na extensão de exemplos de <COISA TIPO="CLASSE"> e a eliminação de <OBRA TIPO="OUTRO">. A numeração foi alterada, sendo agora a versão 3.1. As novas regras podem ser consultadas no botão 'Etiquetas'.
17/Jan/2005 - Directivas e categorias para identificação e classificação na colecção dourada do HAREM v.1.3
Foram actualizadas as directivas, nomeadamente, na substituição de <PESSOA TIPO="GRUPO"> para outros subtipos. As novas regras podem ser consultadas no botão 'Etiquetas'.
11/Jan/2005 - Métricas de Avaliação online
As Métricas de Avaliação foram lançadas, para que os participantes possam debater sobre como se avaliará os sistemas. A Colecção Dourada sofrerá ainda uma última revisão, devido à expansão de certas categorias. Um email foi enviado, a comunicação 12) HAREM - Métricas de Avaliação
21/Dez/2004 - Regras HAREM v1.2 online
As regras HAREM v1.2 estão agora no menu 'Etiquetas'. Representam já uma versão muito próxima da versão final, uma vez que toda a Colecção Dourada já foi anotada de acordo com este conjunto de regras, e devolvida aos participantes. As alterações a fazer serão agora pontuais.
16/Dez/2004 - Emissão do pedaço de treino
Ao mesmo tempo que se emitiu a versão 1.0 das regras HAREM de anotação, enviou-se aos participantes um pedaço de treino devidamente anotado com as regras em vigor.
22/Nov/2004 - Recepção de textos e novas regras de etiquetagem de classificação
Após a recepção de vários pedaços anotados, e de analisar vários casos ambíguos, reformulámos as regras de etiquetagem. A comunicação que resume as alterações é a comunicação 11) HAREM - Regras de etiquetagem. As alterações estão na secção 'Etiquetas'.
9/Nov/2004 - Regras de etiquetagem de classificação
10) HAREM - Regras de etiquetagem - Regras de etiquetagem, com alterações resultantes do feedback dos participantes durante a primeira anotação da Colecção Dourada.
9/Nov/2004 - Nova Calendarização
Alteração das datas do calendário até à avaliação conjunta.
29/Out/2004 - 2ª Rectificação das directivas de classificação
9) HAREM - Directivas e "definição" de EM - Rectificação de regras de etiquetagem da Colecção Dourada.
27/Out/2004 - Rectificação das directivas de classificação
8) HAREM - Directivas e "definição" de EM - Mais directivas de regras de etiquetagem da Colecção Dourada.
26/Out/2004 - Distribuição dos textos aos participantes
Os subconjuntos de textos foram enviados para os participantes, para a sua anotação.
26/Out/2004 - Divulgação da proposta de categorias de identificação e classificação
A proposta de categorias de identificação e classificação encontra-se na secção 'Etiquetas'. Esta proposta servirá de base para a discussão em torno das regras de etiquetagem, que os participantes deverão iniciar hoje, até dia 5 de Novembro.

7) HAREM - Proposta de Etiquetas para Identificação e Classificação - Directiva de base para a discussão das regras de etiquetagem da Colecção Dourada.
25/Out/2004 - Divulgação dos textos da Colecção Dourada
Encontra-se na secção 'Textos' uma lista descritiva e uma tabela detalhada dos textos que serão usados na Colecção Dourada. Destaca-se o esforço em abranger textos de todas as proveniências, incluíndo textos oriundos de Portugal, Brasil, Angola, Moçambique, Macau, Índia, Timor Leste e Cabo Verde.

Hipóteses de objectivos de sistemas de REM - Proposta - Proposta aos participantes sobre duas hippóteses de objectivos de classificação de EMs.
6) HAREM - Textos da Colecção Dourada - Divulgação definitiva dos textos usados para a criação da Colecção Dourada.
22/Out/2004 - Último dia para discutir Directivas de anotação e Etiquetagem
Os textos já foram seleccionados e formatados segundo o SGML adoptado pelo HAREM. Para a semana, serão distribuídos pelos participantes para anotar. Ao mesmo tempo, as regras de anotação terão o seu debate iniciado.
A lista das colecções a usar será divulgada brevemente, bem como as etiquetas, na Área Reservada.
O Número de participante subiu para 16!.
15/Out/2004 - Calendarização
calendarização definitiva das directivas para discussão e prazos de entrega da Colecção Dourada.
14/Out/2004 - Formatos dos textos - iso8859-1, UTF-8, Unix e DOS
Resposta a dúvidas sobre os formatos e codificação a usar nos textos do HAREM.
13/Out/2004 - Directivas de anotação e Etiquetagem
A Comunicação 5 pretende promover o debate em torno das directivas de anotação que os sistemas deverão usar para identificar e classificar as EMs no texto. O prazo final para debate destas directivas é dia 22 de Outubro, 6a feira.
O número de participante subiu para 14!.
A calendarização foi revista. Aconselhamos todos os participantes a ver o Calendário para se inteirarem dos novos prazos.

5) HAREM - Directivas de anotação e Etiquetagem
12/Out/2004 - Objectivos e tarefas de anotação
Foi emitida a Comunicação 4, para promover o debaet sobre as tarefas que os perticipantes deverão seleccionar para o HAREM. Pede-se aos participantes para analisar a proposta e sugerir / debater as tarefas.
4) HAREM - Objectivos e Tarefas de anotação
11/Out/2004 - Participação, Textos a usar e Nova Calendarização.
Até ao momento, há 12 participantes inscritos no HAREM, o que supera as nossas espectativas. A todos, o nosso agradecimento. Podem ver a descrição dos sistemas dos participantes na Área Reservada.
A Comunicação 3 foi enviada para a mailing-list, sobre a discussão dos textos a usar e o formato de apresentação dos mesmos. De momento, jáse iniciou uma discussão sobre os textos a extrair das colecções da Web, e os parâmetros aos quais eles devem obedecer.
1) HAREM - Área Reservada
2) HAREM - Participação
3) HAREM - Textos a usar e nova calendarização
29/Set/2004 - Mailing lists.
Assuntos relacionados com a organização do HAREM deve ser feita por:
A discussão dos conteos, definição do problema, opções e sugestões devem circular na lista:

Actualização da área reservada

Apela-se a quem ainda não descreveu o sistema que será usado no HAREM que o faça. Uma lista de participantes e respectivos sistemas pode ser encontrado na área reservada. O login e a senha foram enviados pela mailing-list do harem. Verifique se os dados estão correctos. Caso não possua a senha, .

Voltar ao topo.










Última actualização: 22/06/2006 12:56:21