Dinamização dos métodos empíricos

Uma questão que tem de ser levantada e considerada com atenção é a dos métodos empíricos em linguística computacional (ou no processamento do português em particular).

É preciso pôr a tónica em questões como avaliação, cobertura, precisão, teste de hipóteses, comparação de versões alternativas, medidas objectivas.

Até agora, como referido em Disponibilização de recursos (nas suas múltiplas vertentes), há pouquíssimo trabalho que possa ser considerado como avaliação ou medida de qualquer sistema e da sua adequação à tarefa que pretende resolver.

Por exemplo, como se avalia um dicionário de português? Através do tamanho? Ou de alguns erros detectados? Ou da sua interface amigável? E um sistema de síntese de fala? E um sistema de procura na WWW?

Estas questões são tanto ou mais importantes do que o desenvolvimento dos próprios sistemas ou recursos, e é preciso consagrar-lhes muita atenção, visto que tradicionalmente a não tiveram.

Como já foi dito, há uma necessidade premente de desenvolver recursos especificamente para a avaliação, tais como corpora de grandes dimensões, corpora anotados, etc.

Algumas medidas sugeridas para melhorar a situação são:

• Estimular e criar recursos para avaliação.
• Obrigar a que todos os projectos financiados publicamente tenham uma parte de avaliação (ou seja, esteja descrito na proposta como avaliar, e quando), de preferência controlável independentemente (ou seja, que a avaliação possa ser repetida por observadores externos).
• Insistir nessa área em todas as acções de formação.
• Publicar trabalhos de avaliação de ferramentas e recursos, de forma a alargar a disponibilidade e a apetência para realizar trabalhos dessa índole.