![[Main Page]](/GikiCLEF/images/logoGikiCLEF.png)
Diana (Talk | contribs)
(New page: = Documentação técnica do sistema de gestão de tópicos e de avaliação do GikiCLEF = ==Directorias== *participantes/ - pasta para permitir o acesso de participantes [SYS] *topicos/...)
Next diff →
Revision as of 11:13, 29 April 2009
Contents |
Documentação técnica do sistema de gestão de tópicos e de avaliação do GikiCLEF
Directorias
- participantes/ - pasta para permitir o acesso de participantes [SYS]
- topicos/ _ alias para participantes (apenas fica mais standardrizado para o acesso de participantes, gestores e avaliadores de topicos) [SYS]
- [SYS]/pools/ - pasta para armazenar as piscinas de ficheiros para cada colecção de tópicos. Aqui são mantidos tanto os documentos visualizados durante gestão de tópicos bem como os documentos extraídos na criação de uma pool
- [SYS]/collections/ - onde são armazenados os ficheiros de recursos para cada collecção
- [SYS]/submissions/ - onde são armazenados os ficheiros com as runs dos participantes
As directorias pools, submissions e collections requerem um .htaccess pra evitar a leitura via web .htaccess
Order allow,deny
A base de dados
- SQL Diagram (Desactualizado...ver criação de tabelas)
60%
Para mais informações veja a base de dados
Utilizadores
Os utilizadores podem registar-se online, após o registo é necessário o administrador definir um grupo.
Um utilizador pode ter vários paéis mas não pode no entanto ter mais do que um papel simultaneamente. Os papéis são os seguintes:
- Administrator Super-utilizador. do sistema. Não tem qualquer limitação (mas não é capaz de activar o fazer submissões de tópicos)
- Assessor detém os privilégios de avaliar os topicos (avaliar respostas dos utilizadores)
- Topic manager detem os privilégios de gerir tópicos. Pode editar ( editar)
- participant detem os privilégios de assessor e gestor
Propiedades adicionais: Um Topic manager pode ser Topic owner", tendo privilégios adicionais para editar os tópicos
Logs das collecções
Para ver o último log veja o Diário de downloads das colecções para gerar um log actualizado, no www execute:
cd /linguateca/GikiCLEF/backup/collection_downloads/ make
e é gerado um novo ficheiro collection_downloads.txt pode actualizar o conteúdo de Diário de downloads das colecções com o deste ficheiro.
Topicos
Os topicos podem ser criados e alterados pelo Administrator Existe uma página com a maioria das operações que podem ser executadas pelo administrador em cada colecção. Para isso active o papel de administrador e visite a página principal com a listagem de colecções, para administrar um tópico sigua o link 'admin'.
A gestão de tópicos engloba as seguintes áreas:
Topic management
Onde são criados e editados os tópicos . Apenas disponivel para o Topic manager. Aqui é possível converter tópicos de texto (ver Topic set) para a base de dados, da base de dados, e editar os tópicos individualemente É possível adicionar respostas que serão assessadas pelos sistema automático de avaliação
Assessment
Onde são avaliadas as respostas dos sistemas Paralelo a esta informação, é criado uma pasta topics/topicname onde são armazenados os recursos. Nesta pasta, os ficheiros iniciados com ponto (.filename) não são visiveis pelo participante.
Topic set
Aqui é onde ficam os ficheiros públicos contendo os tópicos. Os participantes poderão descarregar os tópicos após a data de inicio do topic set. Ao descarregarem qq ficheiro, "Activam" o período de submissão O Administrator pode carregar e editar ficheiros directamente pela interface. Ficheiros readme.html são ignorados e o seu conteúdo é incluído no início da página
- Os recursos só serão descarregáveis após activação do tópico
- Só é possível descarregar recursos do tópico ou enviar participações num tópico após activação do tópico.
- Os utilizadores nã opodem vusializar topicos antes do início
- Após activar o tópico, este expira ao final de submissionlimit, após o qual não é possível enviar participações
Submissions
Aqui é onde é possível submeter ou visualizar runs Como adminstrator é possível visualizar as runs submetidas por todos os sistemas
Avaliação/Assessores
Os ficheiros enviados pelos participantes são submetidos a uma avaliação ligeira. o formato deverá ser
questionid[ ]responsedocument[ ]{(justificationdocument)*}[ ]comment
onde [ ] indica um ou mais espaços e a justificação pode conter mais do que um documento, separado por espaços
Os ficheiros são guardados em submissions/topicname com o nome username_runnumber_src . Um ficheiro paralelo com o nome username_runnumber_eval é criado, com informação sobre uma análise inicial do ficheiro
sumario curto (html) SUMMARY_CONTENT sumario detalhado (tabela html) SUMMARY_CONTENT sumario detalhado ()texto
Posteriormente a validação dos assessores é adicionada a este ficheiro
... SUMMARY_CONTENT Validação dos assessores (tabela de resultados)
Para avaliar os tópicos é necessário gerar a poll de documentos para fácil acesso pelos assessores. AO gerar a poll, é criado uma pasta poll/topicname contendo todos os documentos apontados nas participações (respostas e justificações)
Para os assessores:
- As respostas dos participantes são anomizadas;
- Cada resposta pode ser avaliada como correct, incorrect ou unknown
- Cada justificação pode ser avaliada como "justified" ou unjustified
- a resposta só é considerada correct se estiver justificada
- Um assessor pode avaliar a mesma pergunta mais do que uma vez mas apenas a última avalidação é contabilizada;
- Uma resposta pode ser avaliada por mais do que um assessor. Se as avaliações não coincidirem, a avaliação deve ser marcad como conflituosa
Avaliação automática
O sistema de avaliação automático pode ser invocado a qualquer momento pelo administrador, a partir da área de administração
O sistema compara com as respostas dos sistemas definidas no préviamente sistema de gestão e considera as seguintes condições:
- Se pt/XYZ esta correcto a respostas en/XYZ está correcta VERDADEIRO;
- Se pt/XYZ esta correcto e auto-justificado, a resposta é considerada justificada, independentemente de serem dados outros documentos como justificação
- Se pt/XYZ estiver correcto e justificado en/XYZ deve ser considerado justificado FALSO
- Se um documento XYZ for considerado correcto e auto justificado, todas as justificações que contenham XYZ devem ser consideradas justificadas ???
Componente de auto-assessment dinamico (auto validar á medida que os assossores validam)
- se um assessor avaliar uma resposta como correcta pt/XYZ, o sistema automatico deve replicar todas as respostas ??/XYZ como correctas [A funcionar]
- se um assessor validar uma resposta XYZ como correcta e justificada (num exemplo em que não tenha justificação a não ser apropria resposta, então é obvio que será auto-justificada) o sistema deve marcar todos os XYZ como justificados
Calcular resultados das runs
Após conclusão da avaliação deve ser possível calcular de forma automática os resultados das runs Este deve ser calculado em função da avaliação automática/pelos assessores e gerar uma tabela de resultados
O calcul odos resultados é efactuado pelo programa calculateScores.php. Este programa calcula e armazena os resultados num ficheiro USER_RUN_score com a seguinte estrutura (separados por uma string especifica)
//File _score contains the following fields //0: list of answer with evaluation //1: score table topic/language //2: correct answers table topic/language //3: total answes given topic/language //4: score per language with total (SUM) //5: serialized array
O último campo, é um array serializado com os seguintes valores:
array('score' => value,
'topic_language_answers'=> array[],
'topic_answers' => array[][],
'topic_score' => array[][],
'languages_answers' => array[][],
'gcs' => array[],
'total_gcs' => value,
'total_answers' => array[],
'correct_unjustified' => value,
'result_matrix' => array[][],
'errors' => value
);
O programa viewResults.php interpreta estes ficheiros (utiliza apenas #0 a lista de respostas avaliadas e o array serializado), apresentando os resultados na interface para os utilizadores. Os utilizadores podem visualizar os resultados quando estes estiverem disponiveis (quando for criado o ficheiro_score) através de um link visível em "Submissions"
Assuntos pendentes
- Distinguir as respostas em XML da collecção HTML ? isto é se um dado documento XYZ.html estiver correcto devo considerar correcto o XYZ.xml ???
Backups
Um backup diário é gerado automaticamente para as colecções GikiCLEF 2009 e GikiCLEFTest através do ficheiro do crontab ls /etc/cron.daily/gikiclef_daily.cron que invoca o script utils/genResources.php. O backup é arquivado em /linguateca/GikiCLEF/backup/[DATA]
Alterações requisitadas/ pendentes
Pendentes
- assessor: The "conflict-solving procedure" (mentioned in http://www.linguateca.pt/GikiCLEF/index.php/Assessment_in_the_GikiCLEF_assessment_system ) will be implemented later?
- auto-assessment: classificar como incorrectas respostas para documentos que não existem.
- pending mather: The document content displayed in assessment comes from the HTML or XML collection, depending upon the answer, does not it? eu iria pensando em tentar disintguir já o xml do html... coisa que não está a fazer
Completas
- calculo de resultados das runs individuais dos sistemas
Os resultado já são calculados com base na avaliação e os valores são armazenados. São apresentadas tableas e gráficos ao utilizador
- autoassessment: classificar como incorrectas respostas "kategorie~", "figura~", etc.
- assessor: navegação por pergunta
- asssessor: navegaçao normal não restringe a lingua
- auto assessment está a funcionar com as seguintes funcoes
- valida como correcto pt/pt se estiver nas respostas predefinidas
- valida como autojustificado se estiver auto justificado nas respostas predefinidas
-
valida todas ??/XYZ como correcto se XYZ numa dada lingua estiver nas respostas predefinidas ou se for avalidado por um assessor abc. Se for avaliado por um assessor então todas as respostas paralelas são consideradas avaliadas pelo assessor abc. respostas previamente avaliadas como incorrectas ou uncertas nao sao alteradas -
Se uma resposta sem justificação é considerada justificada pelos assessor abc todas as respostas com a justificação xyz são consideradas justificadas. A justificação é marcada como justificada pelo assessor abc
- problema com as linguas ao registar-se. (são perdidas)
- filtragem do topicos assessados por lingua
- Recuperar passowrd odutiliazador
- actualizacoes/geracao automaticas dos ficheiros de topicos e backup
- navegacao no assessment funciona com restricções da lingua do assessor
- Fazer estatísticas sobre as respostas dos tópicos: para cada tópico, indicar, não só quantas respostas, mas tb quantas por língua. (e tb contar os self justified)
- para cada língua, fazer estatísticas sobre as respostas, por tópico. (e tb contar os slf justified)
- evaluator.php apresenta erros, ignora linhas com topic id inexistentes
- submit.php guarda nome original da run. Testes efectuados:
- Testa utf-8 (ignora run)
- Testa sintaxe das frases (ignora linha)
- Testa extensao da resposta e das justificações (ignora linha)
- testa lingua da resposta coincide com as linguas da justificação (ignora resposta)
- apresentacao do score e numero de assessmentos na listagem de respostas
- alteraçoes nos títulos
- Adicionado mais informacao de errros no avaliador automatico
- Opções para descarregar o xml ou o zip num só pacote
- listagem de recursos ordenada alfabeticamente
- Poder "Download topic lists" (per language): obter as listas dos tópicos em XML para cada língua.
- Apresentação das opções de para escolher linguas totalmente dependentes do array $language (anteriormente era estático)
- Alterar as abreviaturas de lingua bu para bg e du para nl de acordo com os equivalente da wikipedia
- Pastas de topicos/submissões ocultos no servidor web