Current revision

1 Documentação técnica do sistema de gestão de tópicos e de avaliação do GikiCLEF

Documentação técnica do sistema de gestão de tópicos e de avaliação do GikiCLEF

Directorias

participantes/ - pasta para permitir o acesso de participantes [SYS]
topicos/ _ alias para participantes (apenas fica mais standardrizado para o acesso de participantes, gestores e avaliadores de topicos) [SYS]
- [SYS]/pools/ - pasta para armazenar as piscinas de ficheiros para cada colecção de tópicos. Aqui são mantidos tanto os documentos visualizados durante gestão de tópicos bem como os documentos extraídos na criação de uma pool
- [SYS]/collections/ - onde são armazenados os ficheiros de recursos para cada collecção
- [SYS]/submissions/ - onde são armazenados os ficheiros com as runs dos participantes

As directorias pools, submissions e collections requerem um .htaccess pra evitar a leitura via web .htaccess

Order allow,deny

A base de dados

SQL Diagram (Desactualizado...ver criação de tabelas)

Image at 60% size

Para mais informações veja a base de dados

Utilizadores

Os utilizadores podem registar-se online, após o registo é necessário o administrador definir um grupo.

Um utilizador pode ter vários paéis mas não pode no entanto ter mais do que um papel simultaneamente. Os papéis são os seguintes:

Administrator Super-utilizador. do sistema. Não tem qualquer limitação (mas não é capaz de activar o fazer submissões de tópicos)

Assessor detém os privilégios de avaliar os topicos (avaliar respostas dos utilizadores)

Topic manager detem os privilégios de gerir tópicos. Pode editar ( editar)

participant detem os privilégios de assessor e gestor

Propiedades adicionais: Um Topic manager pode ser Topic owner", tendo privilégios adicionais para editar os tópicos

Logs das collecções

Para ver o último log veja o Diário de downloads das colecções para gerar um log actualizado, no www execute:

cd /linguateca/GikiCLEF/backup/collection_downloads/
make

e é gerado um novo ficheiro collection_downloads.txt pode actualizar o conteúdo de Diário de downloads das colecções com o deste ficheiro.

Topicos

Os topicos podem ser criados e alterados pelo Administrator Existe uma página com a maioria das operações que podem ser executadas pelo administrador em cada colecção. Para isso active o papel de administrador e visite a página principal com a listagem de colecções, para administrar um tópico sigua o link 'admin'.

A gestão de tópicos engloba as seguintes áreas:

Topic management

Onde são criados e editados os tópicos . Apenas disponivel para o Topic manager. Aqui é possível converter tópicos de texto (ver Topic set) para a base de dados, da base de dados, e editar os tópicos individualemente É possível adicionar respostas que serão assessadas pelos sistema automático de avaliação

Assessment

Onde são avaliadas as respostas dos sistemas Paralelo a esta informação, é criado uma pasta topics/topicname onde são armazenados os recursos. Nesta pasta, os ficheiros iniciados com ponto (.filename) não são visiveis pelo participante.

Topic set

Aqui é onde ficam os ficheiros públicos contendo os tópicos. Os participantes poderão descarregar os tópicos após a data de inicio do topic set. Ao descarregarem qq ficheiro, "Activam" o período de submissão O Administrator pode carregar e editar ficheiros directamente pela interface. Ficheiros readme.html são ignorados e o seu conteúdo é incluído no início da página

Os recursos só serão descarregáveis após activação do tópico
Só é possível descarregar recursos do tópico ou enviar participações num tópico após activação do tópico.
Os utilizadores nã opodem vusializar topicos antes do início
Após activar o tópico, este expira ao final de submissionlimit, após o qual não é possível enviar participações

Submissions

Aqui é onde é possível submeter ou visualizar runs Como adminstrator é possível visualizar as runs submetidas por todos os sistemas

Avaliação/Assessores

Os ficheiros enviados pelos participantes são submetidos a uma avaliação ligeira. o formato deverá ser

questionid[ ]responsedocument[ ]{(justificationdocument)*}[ ]comment

onde [ ] indica um ou mais espaços e a justificação pode conter mais do que um documento, separado por espaços

Os ficheiros são guardados em submissions/topicname com o nome username_runnumber_src . Um ficheiro paralelo com o nome username_runnumber_eval é criado, com informação sobre uma análise inicial do ficheiro

sumario curto (html) 
SUMMARY_CONTENT
sumario detalhado (tabela html)
SUMMARY_CONTENT
sumario detalhado ()texto

Posteriormente a validação dos assessores é adicionada a este ficheiro

...
SUMMARY_CONTENT
Validação dos assessores (tabela de resultados)

Para avaliar os tópicos é necessário gerar a poll de documentos para fácil acesso pelos assessores. AO gerar a poll, é criado uma pasta poll/topicname contendo todos os documentos apontados nas participações (respostas e justificações)

Para os assessores:

As respostas dos participantes são anomizadas;
Cada resposta pode ser avaliada como correct, incorrect ou unknown
Cada justificação pode ser avaliada como "justified" ou unjustified
a resposta só é considerada correct se estiver justificada
Um assessor pode avaliar a mesma pergunta mais do que uma vez mas apenas a última avalidação é contabilizada;
Uma resposta pode ser avaliada por mais do que um assessor. Se as avaliações não coincidirem, a avaliação deve ser marcad como conflituosa

Avaliação automática

O sistema de avaliação automático pode ser invocado a qualquer momento pelo administrador, a partir da área de administração

O sistema compara com as respostas dos sistemas definidas no préviamente sistema de gestão e considera as seguintes condições:

Se pt/XYZ esta correcto a respostas en/XYZ está correcta VERDADEIRO;
Se pt/XYZ esta correcto e auto-justificado, a resposta é considerada justificada, independentemente de serem dados outros documentos como justificação
Se pt/XYZ estiver correcto e justificado en/XYZ deve ser considerado justificado FALSO
Se um documento XYZ for considerado correcto e auto justificado, todas as justificações que contenham XYZ devem ser consideradas justificadas ???

Componente de auto-assessment dinamico (auto validar á medida que os assossores validam)

se um assessor avaliar uma resposta como correcta pt/XYZ, o sistema automatico deve replicar todas as respostas ??/XYZ como correctas [A funcionar]
se um assessor validar uma resposta XYZ como correcta e justificada (num exemplo em que não tenha justificação a não ser apropria resposta, então é obvio que será auto-justificada) o sistema deve marcar todos os XYZ como justificados

Calcular resultados das runs

Após conclusão da avaliação deve ser possível calcular de forma automática os resultados das runs Este deve ser calculado em função da avaliação automática/pelos assessores e gerar uma tabela de resultados

O calcul odos resultados é efactuado pelo programa calculateScores.php. Este programa calcula e armazena os resultados num ficheiro USER_RUN_score com a seguinte estrutura (separados por uma string especifica)

 //File _score contains the following fields
 //0: list of answer with evaluation
 //1: score table topic/language
 //2: correct answers table topic/language
 //3: total answes given topic/language
 //4: score per language with total (SUM)
 //5: serialized array

O último campo, é um array serializado com os seguintes valores:

 array('score'                 => value,
       'topic_language_answers'=> array[],
       'topic_answers'         => array[][],
       'topic_score'           => array[][],
       'languages_answers'     => array[][],
       'gcs'                   => array[],				      
       'total_gcs'             =>  value,				      
       'total_answers'         => array[],
       'correct_unjustified'   => value,
       'result_matrix'         => array[][],
       'errors'                => value
);

O programa viewResults.php interpreta estes ficheiros (utiliza apenas #0 a lista de respostas avaliadas e o array serializado), apresentando os resultados na interface para os utilizadores. Os utilizadores podem visualizar os resultados quando estes estiverem disponiveis (quando for criado o ficheiro_score) através de um link visível em "Submissions"

Assuntos pendentes

Distinguir as respostas em XML da collecção HTML ? isto é se um dado documento XYZ.html estiver correcto devo considerar correcto o XYZ.xml ???

Backups

Um backup diário é gerado automaticamente para as colecções GikiCLEF 2009 e GikiCLEFTest através do ficheiro do crontab ls /etc/cron.daily/gikiclef_daily.cron que invoca o script utils/genResources.php. O backup é arquivado em /linguateca/GikiCLEF/backup/[DATA]

Alterações requisitadas/ pendentes

Pendentes

assessor: The "conflict-solving procedure" (mentioned in http://www.linguateca.pt/GikiCLEF/index.php/Assessment_in_the_GikiCLEF_assessment_system ) will be implemented later?
auto-assessment: classificar como incorrectas respostas para documentos que não existem.
pending mather: The document content displayed in assessment comes from the HTML or XML collection, depending upon the answer, does not it? eu iria pensando em tentar disintguir já o xml do html... coisa que não está a fazer

Completas

calculo de resultados das runs individuais dos sistemas

Os resultado já são calculados com base na avaliação e os valores são armazenados. São apresentadas tableas e gráficos ao utilizador

autoassessment: classificar como incorrectas respostas "kategorie~", "figura~", etc.

assessor: navegação por pergunta

asssessor: navegaçao normal não restringe a lingua

auto assessment está a funcionar com as seguintes funcoes
- valida como correcto pt/pt se estiver nas respostas predefinidas
- valida como autojustificado se estiver auto justificado nas respostas predefinidas
- valida todas ??/XYZ como correcto se XYZ numa dada lingua estiver nas respostas predefinidas ou se for avalidado por um assessor abc. Se for avaliado por um assessor então todas as respostas paralelas são consideradas avaliadas pelo assessor abc. respostas previamente avaliadas como incorrectas ou uncertas nao sao alteradas
- Se uma resposta sem justificação é considerada justificada pelos assessor abc todas as respostas com a justificação xyz são consideradas justificadas. A justificação é marcada como justificada pelo assessor abc

problema com as linguas ao registar-se. (são perdidas)

filtragem do topicos assessados por lingua

Recuperar passowrd odutiliazador

actualizacoes/geracao automaticas dos ficheiros de topicos e backup

navegacao no assessment funciona com restricções da lingua do assessor

Fazer estatísticas sobre as respostas dos tópicos: para cada tópico, indicar, não só quantas respostas, mas tb quantas por língua. (e tb contar os self justified)

para cada língua, fazer estatísticas sobre as respostas, por tópico. (e tb contar os slf justified)

evaluator.php apresenta erros, ignora linhas com topic id inexistentes

submit.php guarda nome original da run. Testes efectuados:
- Testa utf-8 (ignora run)
- Testa sintaxe das frases (ignora linha)
- Testa extensao da resposta e das justificações (ignora linha)
- testa lingua da resposta coincide com as linguas da justificação (ignora resposta)

apresentacao do score e numero de assessmentos na listagem de respostas

alteraçoes nos títulos

Adicionado mais informacao de errros no avaliador automatico

Opções para descarregar o xml ou o zip num só pacote

listagem de recursos ordenada alfabeticamente

Poder "Download topic lists" (per language): obter as listas dos tópicos em XML para cada língua.

Apresentação das opções de para escolher linguas totalmente dependentes do array $language (anteriormente era estático)

Alterar as abreviaturas de lingua bu para bg e du para nl de acordo com os equivalente da wikipedia

Pastas de topicos/submissões ocultos no servidor web

Retrieved from "https://www.linguateca.pt/GikiCLEF/index.php/Documentation"

@@ Line 18: / Line 18: @@
 == A base de dados ==
 *SQL Diagram (Desactualizado...ver criação de tabelas)
-  [[Imagem: assessortables2.png|60%]]
+  [http://www.linguateca.pt/bastidores/wiki/images/d/d1/Assessortables2.png Image at 60% size]
 Para mais informações veja a [[base de dados]]

Documentation