Avaliação de EM - cálculo da CSC

HAREM, Linguateca

Recorda-se a fórmula utilizada para calcular a classificação semântica combinada:

1 + Σ(1, N) { α*(1 - 1/ num-cats )* cat-certa + β*(1 - 1/ num-tipos )* tipo-certo + γ*(1 - 1/ num-subtipos )* subtipo-certo } - Σ(1, M) {α*(1/ num-cats )* cat-espuria + β*(1/ num-tipos )* tipo-espurio + γ*(1/ num-subtipos )* subtipo-espurio }

N = número de diferentes classificações na CD de acordo com o cenário.
M = número de classificações espúrias enviadas pelo sistema
α, β, γ = parâmetros correspondentes aos pesos das categorias, tipos e subtipos.

Vejamos alguns exemplos concretos:

  1. Exemplo: <EM CATEG="LOCAL" TIPO="FISICO" SUBTIPO="ILHA">Madeira</EM>
  2. Exemplo: <EM CATEG="LOCAL|OBRA|PESSOA" TIPO="VIRTUAL|ARTE|GRUPOIND" SUBTIPO="SITIO||">Camões</EM>
  3. Exemplo: <ALT><EM CATEG="LOCAL|ORGANIZACAO" TIPO="HUMANO|INSTITUICAO" SUBTIPO="CONSTRUCAO|">Museu dos Trajes da América Latina</EM> | <EM CATEG="LOCAL|ORGANIZACAO" TIPO="HUMANO|INSTITUICAO" SUBTIPO="CONSTRUCAO|">Museu dos Trajes</EM> da <EM CATEG="LOCAL|LOCAL" TIPO="HUMANO|FISICO" SUBTIPO="REGIAO|REGIAO">América Latina</EM></ALT>

O exemplos foram feitos com α = β = γ = 1. Para confirmar os valores dos resntantes parâmetros consultar a tabela com todas as categorias, tipos e subtipos.

Exemplo 1

EM na CD:
<EM CATEG="LOCAL" TIPO="FISICO" SUBTIPO=”ILHA">Madeira</EM>

Cenário total (N = 1)

Algumas hipóteses de saídas do sistema:

Hipótese
Descrição
Exemplo
1
 A mesma classificação que está na CD. <EM CATEG="LOCAL" TIPO="FISICO" SUBTIPO="ILHA">
2
 SUBTIPO errado. <EM CATEG="LOCAL" TIPO="FISICO" SUBTIPO="REGIAO">
3
 TIPO errado. <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="DIVISAO">
4
 CATEGORIA errada. <EM CATEG="PESSOA" TIPO="POVO">
5
 Uma classificação correcta e outra errada. <EM CATEG="LOCAL|PESSOA" TIPO="FISICO|POVO" SUBTIPO="ILHA|">
6
 Classificação vaga com as várias alternativas incorrectas. <EM CATEG="ABSTRACCAO|PESSOA" TIPO="IDEIA|POVO">

Avaliação:

Hipóteses
Correcto
Em falta
Espúrio
 M
CSC
1
Tudo
-
-
0
1+ (1-1/n-cats) + (1-1/n-tipos-local) + (1-1/n-subtipos-local-fisico) = 3,51
2
CATEG(LOCAL), TIPO(FISICO)
SUBTIPO(ILHA)
SUBTIPO(REGIAO)
1
1+ (1-1/n-cats) + (1-1/n-tipos-local) - (1/n-subtipos-local-fisico) = 2,51
3
CATEG(LOCAL)
TIPO(FISICO)
TIPO(HUMANO)
1
1+ (1-1/n-cats) - (1/n-tipos-local) = 1,65
4
-
CATEG(LOCAL)
CATEG(PESSOA)
1
1 - 1/n-cats = 0,9
5
CATEG(LOCAL), TIPO(FISICO) , SUBTIPO(ILHA)
-
CATEG(PESSOA)
1
1+ (1-1/n-cats) + (1-1/n-tipos-local) + (1-1/n-subtipos-local-fisico) - (1/n-cats) = 3,41
6
-
CATEG(LOCAL)
CATEG(ABSTRACCAO, PESSOA)
2
1 - 1/n-cats - 1/n-cats = 0,8
Valor dos parâmetros: α = β = γ = 1, n-cats = 10, n-tipos-local = 4, n-subtipos-local-fisico = 7, n-subtipos-local-humano = 6

Exemplo 2

EM na CD:
<EM CATEG="LOCAL|OBRA|PESSOA" TIPO="VIRTUAL|ARTE|GRUPOIND" SUBTIPO="SITIO||">Camões</EM>

Cenário total (N = 3)

Algumas hipóteses de saídas do sistema:

Hipótese
Descrição
Exemplo
1
 Todas as classificações que estão na CD (por qualquer ordem). <EM CATEG="LOCAL|OBRA|PESSOA" TIPO="VIRTUAL|ARTE|GRUPOIND" SUBTIPO="SITIO||">
2
 Só algumas das classificações da CD. <EM CATEG="OBRA|PESSOA" TIPO="ARTE|GRUPOIND">
3
 Uma classificação apenas com CATEGORIA correcta, mas TIPO e SUBTIPO errados. <EM CATEG="LOCAL" TIPO="FISICO" SUBIPO="AGUAMASSA">
4
 Duas classificações: uma com CATEGORIA correcta e TIPO errado e outra com tudo errado. <EM CATEG="LOCAL|ABSTRACCAO" TIPO="FISICO|IDEIA" SUBIPO="AGUAMASSA|">

Avaliação:

Hipóteses
Correcto
Em falta
Espúrio
 M
CSC
1
Tudo
-
-
0
1+ [(1-1/n-cats) + (1-1/n-tipos-local) + (1-1/n-subtipos-local-virtual)] + [(1-1/n-cats) + (1-1/n-tipos-obra) + (1-1/n-subtipos-obra-arte)] + [(1-1/n-cats) + (1-1/n-tipos-pessoa) + (1-1/n-subtipos-pessoa-grupoind)] = 6,83
2
Tudo
CATEG(LOCAL)
-
0
1+ [ (1-1/n-cats) + (1-1/n-tipos-obra) ] + [(1-1/n-cats) + (1-1/n-tipos-pessoa)] = 4,52
3
CATEG(LOCAL)
CATEG(OBRA, PESSOA)
TIPO(FISICO)
1
1+ (1-1/n-cats) - (1/n-tipos-local) = 1,65
4
CATEG(LOCAL)
CATEG(OBRA, PESSOA), TIPO(VIRTUAL)
CATEG(ABSTRACCAO), TIPO(FISICO)
2
1+ (1-1/n-cats) - (1/n-cats) - (1/n-tipos-local) = 1,55
Valor dos parâmetros: α = β = γ = 1, n-cats = 10, n-tipos-local = 4, n-subtipos-local-virtual = 4, n-tipos-obra = 4, n-tipos-pessoa = 8

Cenário com todas as categorias, exceptuando LOCAL (N = 2)

Algumas hipóteses de saídas do sistema:

Hipótese
Descrição
Exemplo
1
 Todas as classificações que estão na CD, tirando as que usam a categoria LOCAL. <EM CATEG="OBRA|PESSOA" TIPO="ARTE|GRUPOIND">
2
 Só algumas das classificações referidas no ponto anterior. <EM CATEG="PESSOA" TIPO="GRUPOIND">
3
 Uma classificação com uma CATEGORIA e TIPO errado e sem a(s) restante(s) CATEGORIA(s). <EM CATEG="PESSOA" TIPO="INDIVIDUAL">
4
 Uma classificação completamente incorrecta <EM CATEG="ORGANIZACAO" TIPO="EMPRESA">

Avaliação:

Hipóteses
Correcto
Em falta
Espúrio
 M
CSC
1
Tudo
-
-
0
1+ [ (1-1/n-cats) + (1-1/n-tipos-obra)] + [(1-1/n-cats) + (1-1/n-tipos-pessoa)] = 4,4
2
Tudo
CATEG(OBRA)
-
0
1+ (1-1/n-cats) + (1-1/n-tipos-pessoa) = 2,76
3
CATEG(PESSOA)
CATEG(OBRA), TIPO(GRUPOIND)
TIPO(INDIVIDUAL)
1
1+ (1-1/n-cats) - (1/n-tipos-pessoa) = 1,76
4
-
CATEG(OBRA,PESSOA)
CATEG(ORGANIZACAO)
1
1- (1/n-cats) = 0,89
Valor dos parâmetros: α = β = γ = 1, n-cats = 9, n-tipos-obra = 4, n-tipos-pessoa = 8

Cenário apenas com a categorias PESSOA e ORGANIZACAO (N = 1)

Algumas hipóteses de saídas do sistema:

Hipótese
Descrição
Exemplo
1
 Apenas as classificações que estão na CD e usam a categoria PESSOA ou ORGANIZACAO. <EM CATEG="PESSOA" TIPO="GRUPOIND">
2
 Uma classificação com o TIPO incorrecto. <EM CATEG="PESSOA" TIPO="POVO">
3
 Uma classificação completamente incorrecta. <EM CATEG="ORGANIZACAO" TIPO="EMPRESA">

Avaliação

Hipóteses
Correcto
Em falta
Espúrio
 M
CSC
1
Tudo
-
-
0
1+ [(1-1/n-cats) + (1-1/n-tipos-pessoa) = 2,375
2
CATEG(PESSOA)
TIPO(GRUPOIND)
TIPO(POVO)
1
1+ (1-1/n-cats) - 1/n-tipos-pessoa = 1,38
3
-
CATEG(PESSOA)
CATEG(ORGANIZACAO)
1
1-1/n-cats = 0,5
Valor dos parâmetros: α = β = γ = 1, n-cats = 2, n-tipos-pessoa = 8

Exemplo 3

Na CD:
<ALT>
<EM CATEG="LOCAL|ORGANIZACAO" TIPO="HUMANO|INSTITUICAO" SUBTIPO="CONSTRUCAO|">Museu dos Trajes da América Latina</EM>
|
<EM CATEG="LOCAL|ORGANIZACAO" TIPO="HUMANO|INSTITUICAO" SUBTIPO="CONSTRUCAO|">Museu dos Trajes</EM> da <EM CATEG="LOCAL|LOCAL" TIPO="HUMANO|FISICO" SUBTIPO="REGIAO|REGIAO">América Latina</EM>
</ALT>

Avaliação de uma anotação completamente correcta (CSC máxima):

Alternativa
EMs
CSC
1
 <EM CATEG="LOCAL|ORGANIZACAO" TIPO="HUMANO|INSTITUICAO" SUBTIPO="CONSTRUCAO|">Museu dos Trajes da América Latina</EM>
1+ [(1-1/n-cats) + (1-1/n-tipos-local) + (1-1/n-subtipos-local-humano)] + [(1-1/n-cats) + (1-1/n-tipos-organizacao) + (1-1/n-subtipos-organizacao-instituicao)] = 5,13
2
 <EM CATEG="LOCAL|ORGANIZACAO" TIPO="HUMANO|INSTITUICAO" SUBTIPO="CONSTRUCAO|">Museu dos Trajes</EM>
1+ [(1-1/n-cats) + (1-1/n-tipos-local) + (1-1/n-subtipos-local-humano)] + [(1-1/n-cats) + (1-1/n-tipos-organizacao) + (1-1/n-subtipos-organizacao-instituicao)] = 5,13
<EM CATEG="LOCAL|LOCAL" TIPO="HUMANO|FISICO" SUBTIPO="REGIAO|REGIAO">América Latina</EM>
1+ [(1-1/n-cats) + (1-1/n-tipos-local) + (1-1/n-subtipos-local-humano)] + [(1-1/n-cats) + (1-1/n-tipos-local) + (1-1/n-subtipos-local-fisico)] = 5,99
Valor dos parâmetros: α = β = γ = 1, n-cats = 10, n-tipos-local = 4, n-subtipos-local-humano = 6, n-tipos-organizacao = 4, n-subtipos-organizacao-instituicao = 0, n-subtipos-local-fisico=7;

Número de alternativas com EMs (na) = 2;
Peso de cada alternativa (p) = 1/na = 1/2;
CSC(ALT) = CSC(ALT1) * p + CSC(ALT2) * p = 5,13 * 1/2 + (5,13 + 5,99) * 1/2 = 8,13

Última actualização: 9 de Abril de 2008.