Comentários sobre a avaliação em fala

Participação da Isabel Trancoso no Encontro em Faro

Devido a um problema de divulgação da lista "avalia", só à última da hora é que percebi que era suposta fazer uma intervenção formal no encontro de Faro. Como tal, a minha intervenção não foi de todo formal, mas, apesar de ter sido feita muito sobre o joelho, tentarei resumi-la em poucos parágrafos, tal como a Diana me pediu.

O ponto de partida desses comentários foi uma publicação da qual só tive conhecimento recentemente, entitulada "Ressources et évaluation en ingénierie des langues" (Univ. Francophones). Apesar de descrever um esforço de avaliação para uma outra língua que decorreu já há alguns anos, pensei que seria interessante analisar como decorreu.

O esforço de avaliação decorreu em várias frentes, estruturadas em duas grandes linhas:

A
Acesso a informação textual em língua natural
Alinhamento de corpos (bi ou) multilingues
Extracção automática de terminologia e de relações semânticas
Compreensão de textos
B
Reconhecimento de vocabulários extensos (ditado)
Diálogo falado
Síntese de fala

Dada a minha formação, centrei-me obviamente na parte B e, já que havia uma outra intervenção sobre síntese, peguei no exemplo do reconhecimento de fala para ilustrar algumas das características:

1 mês para fornecer os resultados dos testes
Conj. Avaliação: 20 falantes, 600 frases.Idem para desenvolvimento
Papeis distribuídos para os vários participantes:
- Organizador: Formatação de dados, elaboração dos CDROMs
- Fornecedor dos dados de treino e de teste (texto + fala)
- Definição do vocabulário
- Fornecedor do léxico de pronúncia
- Fornecedor dos modelos de língua
- Definição das frases para desenvolvimento e avaliação
- Gravação das frases

Com este exemplo, pretendi salientar que, na área da fala, não há massa crítica suficiente a trabalhar para o Português (pelo menos para o Europeu) que permita que um exercício de avaliação deste tipo faça sentido sem pesar demasiadamente os pouquíssimos grupos envolvidos. Envolveria um trabalho muito grande e muito oneroso.

Um outro ponto da minha intervenção disse respeito à validação dos corpora de fala. Acho essencial que futuros projectos de construção de corpora, envolvam instituições independentes que possam validar os mesmos. Acho também essencial que as instituições financiadoras deixem de subestimar o enorme esforço envolvido.

Termino agradecendo à Diana e aos organizadores do PortAL a oportunidade para participara neste encontro e pedindo desculpa de não ter podido prepará-lo decentemente.

Um abraço

Isabel Trancoso

==================================================================
Isabel Trancoso

Associate Professor, IST
Coordinator of LEEC (Electrical and Computers Engineering Course)
Senior Researcher, Spoken Language Systems Laboratory, INESC ID

Address:	INESC, R. Alves Redol, 9
		1000 LISBON, Portugal
e-mail: 	Isabel.Trancoso@inesc-id.pt 
URL:            http://l2f.inesc-id.pt/~imt
Phone/Fax: 	+351 213100268 / +351 213145843
==================================================================