DEFESA DE DISSERTAÇÃO DE MESTRADO Nº 306

Aluno: Agostinho Antônio Freire Júnior

Título: “Além de Dados Limpos: Explorando os Efeitos de Rótulos Ruidosos no Desempenho de Detecção de Objetos”

Orientador: Bruno José Torres Fernandes

Coorientador: Leandro Honorato de Souza Silva

Examinador Externo: Tsang Ing Ren - (UFPE)

Examinador Interno: Pablo Vinicius Alves de Barros

Data-hora: 30 de Agosto de 2024, às 13h.
Local: Formato Remoto.

Resumo:

"Nos últimos anos, a proliferação de conjuntos de dados em larga escala tem impulsionado avanços significativos em aplicações de aprendizado profundo. No entanto, a anotação desses dados continua sendo um processo intensivo em mão de obra, levando à adoção de métodos de redução de custos, como serviços de coleta de dados não especializados e a utilização de fontes de dados disponíveis na internet. Como resultado, os rótulos gerados frequentemente contêm ruídos e imprecisões, comprometendo a qualidade geral dos dados. Assim, conjuntos de dados do mundo real são conhecidos por apresentar uma taxa significativa de corrupção, desafiando a suposição tradicional de que dados limpos são necessários para modelos de aprendizado de máquina. Este trabalho investiga os efeitos do ruído nos rótulos sobre o desempenho da detecção de objetos, uma tarefa crítica em visão computacional. Realizamos uma análise abrangente da influência de rótulos ruidosos em modelos de detecção de objetos, explorando diferentes taxas de corrupção de dados e seus efeitos nos conjuntos de treinamento e validação. Para a experimentação, selecionamos três arquiteturas populares de detecção de objetos: YOLOv5, Faster R-CNN e o recente YOLOv8, utilizando três conjuntos de dados amplamente empregados na literatura: MS COCO, VOC e ExDARK. Duas métricas, Saúde do Modelo e Capacidade de Detecção, foram propostas para apoiar a análise dos resultados experimentais. Os resultados mostram que, até uma faixa de corrupção de dados de 40%, mais de 80% da Saúde do Modelo é preservada (equivalente a uma queda de 20% no mAP em relação à linha de base) em todos os conjuntos de dados para ambas as arquiteturas. No entanto, a Capacidade de Detecção, que avalia a quantidade de detecções em relação a um valor de referência, apresenta uma degradação mais rápida com o mesmo nível de corrupção. Adicionalmente, o método D-RISE foi utilizado para fornecer explicabilidade aos modelos treinados, destacando regiões nas imagens que influenciam as previsões de detecção. Notavelmente, a análise revela que as áreas relevantes para a detecção permanecem semelhantes às do modelo de linha de base até a faixa de corrupção de dados de 40%, corroborada por métricas de similaridade. Finalmente, propomos diretrizes práticas para o desenvolvimento e treinamento de modelos de detecção de objetos com pseudo-rótulos e introduzimos o método TIPR (Treinamento Incremental com Pseudo-Rótulos) como uma abordagem eficaz para mitigar o esforço manual de rotulagem, demonstrando que é possível obter modelos robustos e precisos mesmo na presença de ruído nos dados."