DEFESA DE DISSERTAÇÃO DE MESTRADO Nº 320

Aluno: Joaquim João Nsaku Ventura

Título: “Modelos para Correção De Exames com XAI para o Ingresso em Instituições de Ensino Superior na Angola"

Orientador: Cleyton Mário de Oliveira Rodrigues

Coorientador: Ngombo Makaya Armando (UniKiVi)

Examinador Externo: José Alfredo Ferreira Costa (UFRN)

Examinador Interno: Raphael Augusto de Sousa Dourado

Data-hora: 24 de março de 2025, às 14h.
Local: Formato Híbrido - Miniauditório PPGEC e Google Meet.

Resumo:

"Esta dissertação propõe o desenvolvimento de uma ferramenta automatizada de correção de exames para otimizar os processos de admissão nas Instituições de Ensino Superior (IES) públicas em Angola. Considerando os desafios da correção manual, como atrasos, erros e vieses, a pesquisa utiliza técnicas de Aprendizagem de Máquina (ML) e Processamento de Linguagem Natural (PLN) para avaliar respostas dissertativas, incorporando métodos de Inteligência Artificial Explicável (XAI) a fim de justificar as decisões do sistema. A fundamentação teórica aborda o acesso às IES em Angola, os tipos de avaliação e as ferramentas já existentes, além de discutir modelos de representação de texto como Word2Vec, SBERT, BERT, LSA e T5, destacando a importância do pré-processamento de dados. A metodologia aplicada combina métodos quantitativos e qualitativos, envolvendo uma revisão sistemática da literatura, entrevistas semiestruturadas e um estudo de caso. O sistema desenvolvido realiza a recuperação, pré-processamento, reconhecimento de padrões e cálculo de similaridade usando “word embeddings”, aplicando técnicas de XAI para explicar as decisões. Os resultados indicam que o modelo T5 apresentou o melhor desempenho, com métricas superiores como Accuracy, F1-Score, AUC-ROC e altos coeficientes de correlação (Pearson e Spearman). No entanto, técnicas de explicabilidade como SHAP e LIME não forneceram justificativas satisfatórias, evidenciando a necessidade de métodos mais eficazes. A conclusão destaca o potencial da ferramenta para promover correções mais ágeis, padronizadas e objetivas. Como trabalhos futuros, recomenda-se a criação de uma base de dados própria em Português de Angola, aprimoramento das técnicas de XAI e exploração de modelos ensemble para ampliar a eficácia e interpretabilidade do sistema."