Programas de avaliação do Segundo HAREM

0. O ficheiro harem.conf

Este ficheiro é o mesmo utilizado na avaliação do HAREM clássico.

Para indicar o nome de uma relação é necessário iniciar a linha com "R:" seguida do nome da relação. Se a relação tiver inversa, a última deve ser colocada em frente, da seguinte forma:
R:relacao;inversa

A primeira relação indicada deve ser a identidade ("ident") sendo a ordem das restantes relações irrelevante. Há no entanto que dizer que o nome das relações base do ReRelEM ("ident", "inclui", "incluido", "ocorre_em", "sede_de") se deve manter inalterado devido à forma como estão implementadas as regras de transitividade.

1. Conversor da notação da CD

De forma a facilitar a identificação e leitura de relações entre diferentes facetas de EMs vagas foi criada uma nova notação para esses casos. A CD foi modificada de acordo com essa notação.

No entanto, como a nova notação não é completamente compatível com programas que já tinham sido desenvolvidos nem com as participações, foi criado um programa para transformar a nova notação (a que chamamos tipo 2) numa notação muito semelhante e compatível com a notação original, descrita nas directivas do ReRelEM (a que chamamos tipo 1).

Exemplos dos tipos de notação:

A diferença na notação no tipo 2 encontra-se no preenchimento do campo TIPOREL:

• Tipo 1 (sem especificação de facetas relacionadas): <EM ID="X" CATEG="CATORIGEM1|CATORIGEM2" COREL="ID1 ID1 ID2" TIPOREL="rel1 rel2 rel3">;
• Tipo 2: <EM ID="X" CATEG="CATORIGEM1|CATORIGEM2" TIPOREL="CATORIGEM1**rel1**ID1**CATALVO1 CATORIGEM2**rel2**ID1**CATALVO1 CATORIGEM1**rel3**ID2**CATALVO1">;
• Tipo 1 (com especificação de facetas relacionadas): <EM ID="X" CATEG="CATORIGEM1|CATORIGEM2" COREL="ID1 ID2 ID2" TIPOREL="rel1 rel2 rel3" FAC_ORIGEM="CATORIGEM1 CATORIGEM2 CATORIGEM1" FAC_ALVO="CATALVO1 CATALVO1 CATALVO1">.

No tipo 2, o atributo TIPOREL contém respectivamente: a faceta da própria EM (CATORIGEM) que entra na relação, o tipo da relação (TIPOREF), o ID da EM relacionada (COREL) e a faceta da EM relacionada (CATALVO). Esta notação é transformada no tipo 1 criando dois novos atributos (FAC_ORIGEM e FAC_ALVO).

A conversão é aplicada na CD e também nas participações. Quando se tratam de relações entre EMs vagas e existe a informação das facetas relaciondas, FAC_ORIGEM e FAC_ALVO são preenchidos com essas mesmas facetas. Quando essa informação não existe (EMs simples ou EMs na participação, onde essa informação não existe) os atributos são preenchidos com a categoria das EMs relacionadas.

Exemplo concreto:

Tipo1:

• <EM ID="X" CATEG="LOCAL">Europa</EM>
• <EM ID="Y" CATEG="LOCAL|ORGANIZACAO">UE</EM>
• <EM ID="Z" CATEG="LOCAL|ORGANIZACAO" COREL= "X Y Y" TIPOREL= "incluido incluido incluido" FAC_ORIGEM= "LOCAL LOCAL ORGANIZACAO" FAC_ALVO= "LOCAL LOCAL ORGANIZACAO">Portugal</EM>

Tipo2:

• <EM ID="X" CATEG="LOCAL">Europa</EM>
• <EM ID="Y" CATEG="LOCAL|ORGANIZACAO">UE</EM>
• <EM ID="Z" CATEG="LOCAL|ORGANIZACAO" COREL= "X Y Y" TIPOREL= "LOCAL**incluido**X**LOCAL LOCAL**incluido**Y**LOCAL ORGANIZACAO**incluido**Y**ORGANIZACAO>Portugal</EM>

A notação tipo 2 é apenas utilizada quando existem relações entre facetas de EMs vagas. Quando isso não acontece, deve continuar a utilizar-se o tipo 1, podendo nesse caso encontrar-se ambos no mesmo TIPOREL. Por exemplo:

• <EM ID="A" CATEG="ORGANIZACAO">PSE</EM>
• <EM ID="B" CATEG="ABSTRACCAO|ORGANIZACAO|LOCAL">Estrasburgo</EM>
• <EM ID="C" CATEG="ORGANIZACAO" COREL="A B" TIPOREL="inclui ORGANIZACAO**ocorre_em**B**LOCAL">Parlamento Europeu</EM>

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.RerelemChangeNotationM2 <coleccao.xml> > coleccao_convertida.xml

2. Utilização dos programas clássicos

Nos quatro passos seguintes da avaliação ReRelEM são utilizados os programas de avaliação do HAREM clássico:

• Alinhador: utilizado para alinhar as EMs da participação com as EMs na CD do ReRelEM (a CD do ReRelEM é um sub-conjunto do textos da CD HAREM, anotados de acordo com as directivas do ReRelEM);
• Avaliador: avaliação dos alinhamentos;
• Véus: eliminação de alinhamentos fora do cenário especificado (se for o caso) e tratamento de alinhamentos parcialmente correctos;
• Organizador de ALTs: organização das alternativas na segmentação (ALTs).

Para mais detalhes sobre a utilização destes programas, consulte estas instruções.

3. Expandidor de relações

O módulo Expandidor tem como missão aplicar regras para a explicitação de relações.

Nessas regras a aplicar encontra-se o cálculo da inversa (de acordo com o que estiver definido no ficheiro harem.conf) e outras regras.

Procedimento:

1. Explicitar todas as relações inversas implícitas;
2. Enquanto a aplicação das regras de transitividade a todos os pares de relações existentes der origem a novas relações, explicitar as inversas implícitas

Opções:

• -exptudo: sim ou sem a opção se se pretender expandir as relações na CD e participação; nao
para expandir apenas as relações na CD.
• -normaliza_tipos: passa todos os tipos de relações não básicos para "outra", antes de uma eventual explicitação de inversa. De acordo com o harem.conf utilizado, alguns tipos não básicos têm inversa
• -part_tipo_cd: indica que a participação está no tipo da CD. Quer isto dizer que todas as relações anotadas são entre facetas definidas e nunca categorias vagas.
• -depurar: A saída apresenta também as relaçoes combinadas para obter novas.

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.RelationExpanderM2 -alinhamento ficheiro.alinhado.alts [-exptudo <sim|nao>] > ficheiro.alinhado.alts.expandido

Saída:
Alinhamentos com as relações expandidas.

4. Seleccionador de alinhamentos

Aplicado para restringir o conjunto de alinhamentos às respostas correctas do sistema. Alinhamentos espúrios, em falta ou com a categoria errada são eliminados. Nos restantes alinhamentos mantêm-se apenas as categorias comuns na EM do lado da CD e do participação.

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.AlignmentSelector -alinhamento ficheiro.alinhado.alts.expandido > ficheiro.alinhado.alts.expandido.seleccionado

Saída:
Alinhamentos correctos e com categorias iguais do lado da CD e participação.

5. Normalizador de IDs

Utilizado para normalizar os IDs das EMs nos alinhamentos de forma a possibilitar a comparação das relações do lado da CD com as relações do lado da participação. As entradas dos atributos COREL, TIPOREL, FAC_ORIGEM e FAC_ALVO são também normalizadas. Os IDs em COREL são adaptados aos novos IDs e as relações com pelo menos um ID ou conjunto ID+faceta inexistente são removidas.

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.IDNormalizer -alinhamento ficheiro.alinhado.alts.expandido.seleccionado > ficheiro.alinhado.alts.expandido.seleccionado.normalizado

Saída:
Alinhamentos onde as EMs do lado participação têm o ID igual ao da EM do lado da CD com que estão alinhadas e os IDs no campo COREL seguem também essa normalização.

6. Alinhamentos para Triplas

Este módulo tem como objectivo alterar a notação utilizada pelos módulos anteriores, transformando a notação de alinhamentos numa notação de triplas.

Uma tripla é constituída pelo ID da categoria origem (ou ID+faceta), o tipo da relação e o ID da categoria alvo (ou ID+faceta), por exemplo:
ABC LOCAL inclui XYZ LOCAL

Opções:

• -normaliza_tipos para passa todos os tipos de relações não básicos para tipo "outra".
• -part_tipo_cd: indica que a participação está no tipo da CD. Quer isto dizer que todas as relações anotadas são entre facetas definidas e nunca categorias vagas.

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.RelationExpanderM2 -alinhamento ficheiro.alinhado.alts.expandido.seleccionado.normalizado [-exptudo <sim|nao>] > ficheiro.alinhado.alts.expandido.seleccionado.normalizado.triplas

Saída:
Conjuntos de relações (representadas por triplas) do lado da CD e do lado da participação.

7. Véus ReRelEM

Semelhante aos filtros do HAREM clássico, mas para o tipo de relações. Aos conjuntos de relações do lado da CD e do lado da participação são removidas aquelas que cujo tipo não se encontra no conjunto de tipos pretendidos.

Opção:
O filtro é especificado através da opção -filtro seguida de uma lista de tipos de relação, separados por ";". Não especificando um filtro, nenhuma relação é removida.

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.RelationsFilter -alinhamento ficheiro.alinhado.alts.expandido.seleccionado.normalizado.triplas [-filtro tiporel1;tiporel2] > ficheiro.alinhado.alts.expandido.seleccionado.normalizado.triplas.filtrado

Saída:
Conjuntos de relações do lado da CD e do lado da participação, filtrados de acordo com o cenário

8. Avaliador de relações

Avaliação das relações marcadas na participação, comparando com o que está marcado na CD. A saída desta etapa consiste numa lista de relações completamente correctas, com os argumentos certos e tipo errado (COREL correcto), espúrias e em falta. Em frente a cada relação é colocada a sua avaliação (Avaliação) e a sua pontuação de acordo com a fórmula de avaliação do ReRelEM. Uma relação pode ser classificada como Correcta, COREL Correcto, Espúria, Em Falta.

Comparação de relações:
Uma relação A relacao1 B é igual a uma X relacao2 Y apenas se forem do mesmo tipo (relacao1 = relacao2) e se os seus argumentos forem iguais e estiverem na mesma ordem (A=X e B=Y).

Cálculos adicionais:
Além da avaliação das relações são calculados, alguns valores para facilitar o cálculo das medidas finais na próxima fase. Para cada documento são marcados os seguintes valores:

• Rels_CD: total de relações do lado da CD;
• Rels_Part: total de relações do lado da participação;
• Corels_CD: total de pares únicos de argumentos do lado da CD (utilizado apenas pelos tipos de avaliação desaconselhados);
• Corels_Part: total de pares únicos de argumentos do lado da participação (utilizado apenas para os tipos de avaliação desaconselhados);
• CorelsCorrectos: total de relações com os argumentos correctos (utilizado apenas pelos tipos de avaliação desaconselhados).

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.RelationsEvaluatorM2 -alinhamento ficheiro.alinhado.alts.expandido.seleccionado.normalizado.triplas.filtrado > ficheiro.alinhado.alts.expandido.seleccionado.normalizado.triplas.filtrado.avaliado

Saída:
Conjuntos de relações avaliadas.

9. Resumidor dos resultados

Resume os vários resultados que se podem retirar da avaliação das relações, separados em três partes:

• Avaliação de Relações: métricas de avaliação tendo em conta as relações completas (argumentos e tipo);
• Avaliação de CORELs: métricas de avaliação tendo em conta apenas os argumentos das relações;
• Pontuação ReRelEM: métricas de avaliação tendo em conta a aplicação da fórmula de avaliação do ReRelEM.

(Nota: o único tipo de avaliação oficial é o primeiro, Avaliação de Relações, onde cada relação correcta vale 1, caso contrário vale 0).

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.GlobalRelationsEvaluatorM2 -alinhamento ficheiro.alinhado.alts.expandido.seleccionado.normalizado.triplas.filtrado.avaliado > ficheiro.alinhado.alts.expandido.seleccionado.normalizado.triplas.filtrado.avaliado.resumo

Saída:
Resumo das várias medidas alcançadas pela participação.

10. Gerador de resultados

Em tudo semelhante ao gerador de resultados para o HAREM clássico. Utiliza todos os ficheiros do tipo .resumo com terminação pretendida e que se encontrem dentro de determinada directoria e subdirectorias (ambos dados como argumento) para gerar uma tabela HTML com os vários sistemas e respectivas classificações do ReRelEM, ordenados pela melhor Medida-F.

Opções:

• -depurar: se esta opção não estiver presente a identificação dos sistemas é anonimizada.
• -filtro: terminação dos ficheiros de onde se pretende extrair as classificações. Se se pretender gerar resultados para apenas um cenário de avaliação, será conveniente dar uma terminação pelo menos a partir do sufixo do nome dos ficheiro que identifica o véu utilizado na sua construção. (Por exemplo ".total.alts.seleccionado.normalizado.expandido.ident.avaliado.resumo").
• -dir: directório onde procurar os ficheiros (caminho relativo a partir de onde é feita a invocação).
• -info: com esta opção é dado ao programa um ficheiro CSV com a informação dos vários sistemas que é utilizado para o nome do sistema apareça na tabela. Se a opção não for utilizada ou se não for possível associar o nome do ficheiro com um sistema, a linha da tabela é identificada pelo nome do ficheiro.
• -desaconselhadas: se esta opção for utilizada os resultados apresentarão não só a avaliação oficial (Avaliação de relações), mas também outros modos de avaliação entretanto abandonados (avaliação de COREL e avaliação através da fórmula do ReRelEM).

Invocação:
java -Dfile.encoding=ISO-8859-1 -cp .;lib/jdom.jar pt.linguateca.harem.GlobalRelationsReporter [-depurar] -filtro filtro -dir directorio_participacoes [-info lista_participantes.csv ] > resultados.html

Saída:
HTML com os sistemas e respectivas classificações representadas em todos os ficheiros na directoria directorio_participacoes terminados em filtro e ordenadas pela melhor Medida-F.

Visualizador de relações

Programa que permite visualizar o grafo com as relações nos vários documentos anotados de acordo com o ReRelEM.
O Visualizador tem como entrada (se nada for especificado) um ficheiro de alinhamentos, como a saída do organizador de ALTs ou do Expandidor. É também possível ter uma entrada onde as relações estão representadas sob a notação de triplas (utilizando a opção -entrada triplas), como a saída do Véus ReRelEM.

No grafo apresentado a cor das ligações entre os nós corresponde a um tipo de relação. Legenda:

• ident
• inclui
• incluido
• ocorre_em
• sede_de
• outra relação

Opções

• -ver: para seleccionar se se pretende visualizar apenas o grafo do lado da CD (cd) ou do lado da participação (part);
• -doc: para seleccionar o documento utilizado para desenhar o grafo. Esta opção deve ser seguida do ID de um documento presente no ficheiro de entrada.
• -entrada: para indicar o formato do ficheiro de entrada (por omissão é considerado que o ficheiro está na notação de alinhamentos).
• -nos: para escolher a forma de identificar os nós no grafo. Por omissão cada nó é identificado pelo seu ID ou ID+faceta.

Invocação:
java -Dfile.encoding=ISO-8859-1 cp .;lib/jdom.jar;lib/jgraph.jar pt.linguateca.harem.ViewRelationsGraphs -alinhamento <ficheiro_alinhamentos> -doc docid [-ver <cd|part>] [-entrada <triplas|alinhamentos>] [-nos <id|em|ambos>]

Informação adicional: Os grafos apresentados posicionam os nós numa grelha 6 por N. Para um melhor posicionamento é possível utilizar a biblioteca JGraphLayout Pro que não incluímos no conjunto dos programas porque requer uma licença específica (para fins comerciais - paga, ou acad´micos - gratuita).

Nota

Todos os módulos utilizados para esta avaliação foram implementados em Java, e é necessário ter instalada a versão 1.6 ou posterior do Java Runtime Environment (ou compatível).

Encontram-se aqui descritas as invocações dos programas em ambiente Windows. Em ambiente Unix é necessário alterar a separação dos arquivos no classpath (de ';' para ':'), por exemplo:

1. Windows: java -cp .;lib/jdom.jar ...
2. Unix: java -cp .:lib/jdom.jar ...

Licença

O pacote de programas para a avaliação do Segundo HAREM é disponibilizado pela Linguateca através de uma licença BSD.