Segundo HAREM: Documentação relativa à avaliação em cenários selectivos

• Objectivos
• Pressupostos e opções tomadas
• Relação com os véus
• Exemplo
• Diferenças em relação ao primeiro HAREM

Objectivos

Além disso, também permite avaliar o sistema noutros cenários que não apenas o cenário total. Por exemplo, a avaliação por categoria é vista como um cenário selectivo, assim como nos interessa comparar sistemas diferentes em todos os cenários sugeridos pelos participantes. Isto significa que os sistemas poderão ser avaliados com base em conjuntos de categorias nos quais não concorreram, ou seja um cenário selectivo de avaliação não é necessariamente um subconjunto do cenário selectivo do participante.

Em duas palavras, os cenários selectivos modelam o que aconteceria se a CD e saída do sistema só estivessem marcadas com anotações desse cenário.

Pressupostos e opções

• Cenário total: conjunto de etiquetas propostas para avaliação no Segundo HAREM.
• Cenário selectivo de avaliação: sub-conjunto de etiquetas do cenário total que vai ser alvo de avaliação.
• Cenário selectivo de participação: sub-conjunto de etiquetas do cenário total no qual o sistema participou (e que foi indicado pelo participante)

A avaliação selectiva corresponde a fazer a avaliação após adaptar a CD e a saída do sistema ao cenário selectivo de avaliação, removendo de ambos todas as CATEGs, TIPOs e SUBTIPOs que não façam parte do cenário selectivo de avaliação. Tivemos em consideração os seguintes aspectos:

• A marcação de entidades apenas com EM (onde os atributos CATEG, TIPO e SUBTIPO foram omitidos) só será eliminada quando a intersecção entre o cenário selectivo de avaliação e o cenário de participação não for vazio. Esta opção justifica-se porque assumimos que se os participantes achassem que: (i) a entidade estava fora do cenário de participação não marcariam essa entidade; (ii) a entidade tinha mais de uma CATEG, TIPO ou SUBTIPO usariam a marcacao de vagueza (|).
• A marcação com OUTRO é tratada da mesma forma que as restantes CATEGs, TIPOs e SUBTIPOs: se fizer parte do cenário selectivo de avaliação mantém-se senão é eliminada. Ou seja, OUTRO é sempre interpretado com o valor outra CATEG, TIPO ou SUBTIPO não previsto no elenco de CATEGs, TIPOs e SUBTIPOs do Segundo HAREM.

Relação com os véus

O véu especifica um filtro que vai ser aplicado à lista de alinhamentos entre a CD e a saída do sistema, e que permite fazer a adaptação dos alinhamentos ao cenário selectivo de avaliação que ele representa. Essa adaptação passa por eliminar marcações que não façam parte do cenário de avaliação; no caso de deixar de existir marcações dos dois lados do alinhamento (ou seja, deixou de haver informação tanto do lado da CD como do lado da saída do sistema), o alinhamento é eliminado da lista de alinhamentos.

Isto quer dizer que a CD e a saída dos sistemas não chegam a ser alteradas; o que sofre alterações são apenas os alinhamentos.

Exemplo

Diferenças em relação ao Primeiro HAREM

A nível prático ou concreto, as diferenças foram mais no raciocínio que levou à implementação, visto que foi preciso entrar em conta, para fundamentar as opções tomadas, com um maior leque de opções posto à disposição dos participantes e também com uma forma mais fina de avaliar.

Além disso, no Primeiro HAREM nunca chegámos a produzir resultados por cenário de avaliação que não fosse o cenário selectivo da participação, e neste Segundo HAREM, por ter havido mais heterogeneidade no conjunto das participações, vamos fazê-lo.