Versão para impressão

Ida2Sem Java

Avaliador Global da tarefa de Classificação Semântica implementado em Java

O Ida2Sem calcula e apresenta os resultados globais da avaliação da tarefa de classificação semântica, para todos os resultados produzidos pelo Emir e processados pelo AltinaSem. O cálculo das pontuações segue as especificações encontradas no documento das Medidas. O Ida2Sem tem de percorrer todos os alinhamentos semanticamente avaliados e efectuar as várias contagens de modo a produzir um relatório com as medidas pretendidas.

Formato do Relatório

Os relatórios produzidos pelo Ida2Sem estão dividos em quatro secções e contêm as seguintes informações:

1. O domínio da avaliação em termos das categorias e tipos a avaliar.
2. A avaliação referente à classificação semântica das categorias.
3. A avaliação referente à classificação semântica dos tipos.
4. A avaliação referente à classificação semântica combinada.
5. A avaliação referente à classificação semântica plana.
   

É de notar que estes cálculos só podem ser efectuados após a escolha da ALT mais favorável ao sistema pelo AltinaSem. A escolha do ALT mais favorável vai influenciar o nº total de entiquetas encontradas na CD. Isto significa que saídas diferentes podem ser avaliadas considerando diferentes etiquetas da CD, mas estas diferenças só favorecem o sistema em causa.

Existem, no entanto, casos que requerem mais atenção de forma a garantir que não se cometem erros de contagem. Estes casos referem-se às EM que foram classificadas com parcialmente correctas podendo originar situações em que uma única EM da CD alinha com várias EMs identificadas na saída do sistema, ou então que várias EMs da CD alinham com uma única EM na saída do sistema. O Ida2Sem lida com estas situações de forma semelhante ao Ida2Id. A única diferença é que o Ida2Id utiliza a maracação do AvalIDa para detectar as EMs parcialmente correctas. O Ida2Sem, visto que a marcação do AvalIDa já foi removida, verifica se campo Peso tem um valor no intervalo ]0 .. 1[ para detectar um EM parcialmente correcta.

Outro aspecto a ter em atenção é a utilização dos pesos na contabilização das EMs correctas. Como por exemplo acontece em:

O peso (0.25 no caso deste alinhamento) corresponde ao contributo deste alinhamento para o somatório das categorias correctamente identificadas. Por outras palavras, em vez incrementer uma unidade o número total de EM correctamente classificadas só é incrementado em 0.25. A utilização do peso no cálculo do somatório das EM correctas também já foi utilizado pelo AvalIDa.

No entanto, na averiguação das métricas de erro (sub-geração e sobre-geração) os pesos não são considerados. Esta decisão foi tomada de forma a não beneficar sistemas que têm muitos alinhamentos do tipo 1->N ou N->1. Considere o seguinte exemplo:

Seguindo o mesmo raciocínio de utilização dos pesos, teremos para o cálculo da sobre geração, (0.2 + 0.1) entidades espúrias que ao dividir por 2 (o número de EM classificadas) resultava no valor 0.15 para a sobre geração. No entanto das duas EMs classificadas nenhuma estava correcta, o que indica que a sobre_geração deveria ser 1 (ou seja 100%). O mesmo acontece no cálculo da sub geração ao lídar com alinhamentos do tipo N->1. Por este motivo, as medidas de erro não consideram os pesos e quando uma categoria é espúria ou está em falta, ela é considerada como totalmente espúria ou em falta, respectivamente.

Distribuição e Utilização

O Ida2Sem é distribuído num ficheiro "Java Archive Resource" (JAR) --ida2sem.jar-- que inclui o código fonte: ida2sem.jar.

Para inspeccionar o código basta extrair os ficheiros do arquivo executando o seguinte comando numa shell do seu sistema:

Para invocar o Ida2Sem numa máquina com a JVM instalada, execute por exemplo o comando:

Onde sistema.alinhado.etq.verificado.avalida.absoluto.emir.altsem corresponde ao nome do ficheiro que foi gerado após o processamento da AltinaSem. Salienta-se a utilização do parâmetro -Dfile.encoding=ISO-8859-1 que é necessário para garantir que os ficheiros são processados utilizando uma codificação de caracteres correcta. O resultado do Ida2Sem será enviado para o standard output, daí ser conveniente redireccionar a saída para um ficheiro, de forma a facilitar a posterior validação e avaliação.

Exemplo

De seguida iremos apresentar um exemplo onde mostramos como é que o ida2sem actualiza as suas variàveis ao processar cada uma dos alinhamentos. Note-se que as variàveis aqui apresentados são utilizadas no cálculo do relatório final. Chama-mos desde já a atenção para a informação marcada a vermelho; este informação diz respeito a alinhamentos do tipo n->1 em que é necessário actualizar a contagens de espúrios após o processamento de um número indefinido de entidades.

Toda a informação exposta até este momento teve o único objectivo de clarificar o funcionamento do Ida2Sem, e não faz parte da saída gerada real gerada pelo programa. A saída real gerada, para o conjunto de alinhamentos analisados é a seguinte: