DEFESA DE TESE DE DOUTORADO Nº 37
Aluno: Angel Antonio Ayala Maldonado
Título: “Decoupled sensorimotor self-predictive representation for object-goal autonomous navigation with a quadcopter"
Orientador: Bruno José Torres Fernandes
Coorientador: Francisco Javier Cruz Naranjo (University of New South Wales)
Examinador Externo: Sebastian Houben (University of Applied Sciences Bonn-Rhein-Sieg)
Examinadora Externa: Jana Jost (Fraunhofer-Institut für Materialfluss und Logistik IML)
Examinador Externo: Nicolas Navarro (Leibniz Universität Hannover)
Examinador Interno: João Fausto Lorenzato de Oliveira
Data-hora: 18 de dezembro às 9h
Local: formato remoto - Google meet
Resumo:
"Soluções inovadoras que utilizam veículos aéreos não tripulados (VANTs) autônomos dependem de sistemas inteligentes de navegação autônoma (ANS). De acordo com resultados de uma revisão sistemática da literatura (SLR), um ANS lida com o deslocamento do veículo de um ponto a outro resolvendo tarefas de controle, planejamento, mapeamento e percepção. A navegação orientada a objeto torna-se desafiadora, pois estende essas quatro tarefas na busca por um objeto-alvo. Um segundo achado destaca que, hoje em dia, a maioria dos métodos utiliza placas de piloto automático para controle, métodos baseados em grafos para planejamento, SLAM ou mapas de ocupação para mapeamento e características manuais para percepção. Contudo, uma das principais descobertas da SLR foi a baixa reutilização das informações do modelo de percepção pelas tarefas de planejamento, controle e mapeamento. Portanto, surgiu uma pergunta de pesquisa e sua hipótese correspondente, que definiram os objetivos desta tese na área de robótica probabilística. Métodos probabilísticos têm sido amplamente utilizados em robótica e evoluíram para um campo conhecido como robótica probabilística. Abordagens modernas recebem esse nome porque são métodos baseados em aprendizado, principalmente modelos de redes neurais que usam o algoritmo de retropropagação para otimização de parâmetros. Mais recentemente, abordagens de aprendizado por reforço (RL) surgiram como uma opção promissora para problemas de tomada de decisão, apresentando resultados excelentes. Porém, seu principal desafio é a ineficiência no uso das amostras de dados para alcançar uma boa política, o que piora com observações de alta dimensionalidade. Avanços em modelos de deep learning demonstraram sua capacidade de adquirir características ricas por meio de abordagens de aprendizado de representação. As características do modelo de representação, otimizadas de maneira autossupervisionada, têm sido aplicadas com sucesso a outras tarefas subsequentes. Assim, a hipótese desta tese é que abordagens de aprendizado de representação de estados (SRL) podem resolver de forma eficiente o problema de navegação autônoma orientada a objeto usando um quadricóptero. Em cenários de navegação orientada a objeto, outro desafio relacionado ao reconhecimento do alvo também está presente. Navegação orientada a objeto é um tema amplamente pesquisado em métodos incorporados para ambientes internos. A maioria das abordagens relacionadas a VANTs usa coordenadas relativas ou absolutas para deslocar-se de uma posição inicial para um local predefinido, em vez de encontrar diretamente o alvo. Portanto, o escopo da pesquisa também abordou a formalização do problema de navegação orientada a objeto com localização do alvo indeterminada como um Processo de Decisão de Markov. Assim, os principais desafios tratados nesta tese estão relacionados à eficiência no uso de amostras de dados para resolver um problema de navegação 3D orientada a objeto (OGN). A pesquisa conduzida analisou a interação entre diferentes métodos de SRL para a tarefa de percepção, um algoritmo de RL sem modelo para a tarefa de planejamento e o controlador interno do VANT para a tarefa de controle. O sistema proposto de navegação autônoma orientada a objeto foi denominado Chemamuy, inspirado no povo Mapuche, significando “Alguém está se movendo naquela direção”. A principal contribuição desta tese foi o desenvolvimento do módulo de percepção, apresentando um novo modelo autorregressivo preditivo chamado AmelPred, além do AdPuEncoder desacoplado. A proposta principal, bem como diferentes combinações de RL e SRL, foram avaliadas em um cenário de OGN. O cenário OGN consiste em um VANT como um dispositivo IoT que deve voar autonomamente em direção a uma pose alvo próxima da localização do objeto. No total, 24 diferentes localizações de alvo em um espaço 3D foram usadas para avaliar o desempenho de navegação de cada método. Experimentos comparando a combinação dos algoritmos DQN, SAC e TD3 para a tarefa de planejamento, incorporando características provenientes de técnicas de reconstrução ou predição, também foram abordados nesta tese. Resultados empíricos demonstraram que AmelPred foi o modelo de SRL com melhor desempenho quando combinado com qualquer algoritmo de RL sem modelo. O uso de uma função de codificação estocástica alcançou resultados ainda melhores para modelos ator-crítico. Além disso, a extensão proposta utilizando codificadores AdPuEncoder com AmelPred também foi validada para testar a hipótese de melhoria com sensores desacoplados. AmelPredSto-APE foi a abordagem de SRL mais eficiente no uso de amostras para os algoritmos SAC e TD3 em problemas de OGN. Os resultados desta tese buscam contribuir para o conhecimento sobre navegação autônoma de quadricópteros ao estudar o impacto de abordagens de SRL em cenários orientados a objeto. Os resultados obtidos sustentam a hipótese proposta ao mostrar a melhoria dos algoritmos de RL por meio do uso de técnicas de SRL na solução do problema de navegação orientada a objeto. Trabalhos futuros podem abordar um método de fusão para a reutilização correta de cada codificador proprioceptivo e exteroceptivo, bem como a reutilização do conhecimento de modelos de deep learning pré-treinados para adquirir características ricas a partir de imagens."
O Programa
