Dados do Trabalhos de Conclusão

INSTITUTO MILITAR DE ENGENHARIA
ENGENHARIA DE DEFESA (31007015011P8)
DETECÇÃO E IDENTIFICAÇÃO DE PESSOAS UTILIZANDO REDES NEURAIS CONVOLUCIONAIS INTEGRADAS
ALBERTO TORRES ANGONESE
TESE
11/10/2017

Esta tese apresenta a implementação de um sistema de detecção de pessoas e identificação de indivíduos, integrado com um sistema dinâmico de localização e mapeamento simultâneos (Simultaneous Localization and Mapping - SLAM) para uma plataforma robótica autônoma. A integração em ambiente real de métodos para detecção de pessoas, aliado a técnicas para identificação de um indivíduo específico baseadas em arquiteturas de Deep Learning, com um sistema de SLAM robusto à movimentação de pessoas, é uma contribuição inédita na literatura. A plataforma robótica autônoma utilizada é composta por um robô Pioneer 3DX equipado com uma câmera RGBD, um sensor laser Sick Lms200 e um computador usando o sistema operacional robótico (ROS). A integração do sistema de detecção de pessoas e identificação de indivíduos com o sistema de SLAM do robô é realizada no ambiente do ROS. O sistema de detecção e identificação de pessoas é realizado em duas etapas. A primeira detecta várias pessoas em cena e a segunda realiza a identificação de uma pessoa específica. Ambas as etapas são implementadas como aplicações ROS, denominadas nós, que trabalham integrados com o nó ROS do SLAM. O nó de detecção de múltiplas pessoas usa uma técnica local de extração de características, baseada no detector HOG (Histogram of Oriented Gradients), que é implementado usando a biblioteca PCL (Point Cloud Library) em C ++. O nó de identificação de pessoas é baseado em uma arquitetura de uma rede neural convolucional (CNN) profunda, cuja implementação é realizada usando os frameworks MatConvNet em MatLab e TensorFlow em Python. Esta etapa recebe o centroide das pessoas detectadas na etapa anterior e executa a classificação de uma pessoa específica, previamente definida dentre as classes de pessoas que foram treinadas. Em seguida, o centroide do indivíduo desejado é enviado para o nó SLAM, que o considera durante o processo de mapeamento. A definição de uma determinada pessoa é justificada pela viabilização da implementação de tarefas, em que um robô deve localizar e seguir uma pessoa específica em ambientes reais. Testes foram realizados objetivando a avaliação da acurácia dos classificadores implementados no processo de detecção e identificação de pessoas utilizando ambos os frameworks. Adicionalmente, foram realizados testes de desempenho computacional das implementações do nó de identificação em MatConvNet e Tensorflow sendo executadas em uma arquitetura baseada em CPU e GPU. Por fim, foram realizados experimentos com a plataforma robótica, com o objetivo de avaliar a integração dos sistemas de detecção de pessoas e identificação de indivíduos com o SLAM, em ambiente real. Pelos experimentos, foi possível avaliar o funcionamento do sistema proposto em tempo real, considerando um ambiente semi estruturado.

Redes Neurais Convolucionais;DeepLearning;Localização e Mapeamento Simultâneos
Esta tese apresenta a implementação de um sistema de detecção de pessoas e identificação de indivíduos, integrado com um sistema dinâmico de localização e mapeamento simultâneos (Simultaneous Localization and Mapping - SLAM) para uma plataforma robótica autônoma. A integração em ambiente real de métodos para detecção de pessoas, aliado a técnicas para identificação de um indivíduo específico baseadas em arquiteturas de Deep Learning, com um sistema de SLAM robusto à movimentação de pessoas, é uma contribuição inédita na literatura. A plataforma robótica autônoma utilizada é composta por um robô Pioneer 3DX equipado com uma câmera RGBD, um sensor laser Sick Lms200 e um computador usando o sistema operacional robótico (ROS). A integração do sistema de detecção de pessoas e identificação de indivíduos com o sistema de SLAM do robô é realizada no ambiente do ROS. O sistema de detecção e identificação de pessoas é realizado em duas etapas. A primeira detecta várias pessoas em cena e a segunda realiza a identificação de uma pessoa específica. Ambas as etapas são implementadas como aplicações ROS, denominadas nós, que trabalham integrados com o nó ROS do SLAM. O nó de detecção de múltiplas pessoas usa uma técnica local de extração de características, baseada no detector HOG (Histogram of Oriented Gradients), que é implementado usando a biblioteca PCL (Point Cloud Library) em C ++. O nó de identificação de pessoas é baseado em uma arquitetura de uma rede neural convolucional (CNN) profunda, cuja implementação é realizada usando os frameworks MatConvNet em MatLab e TensorFlow em Python. Esta etapa recebe o centroide das pessoas detectadas na etapa anterior e executa a classificação de uma pessoa específica, previamente definida dentre as classes de pessoas que foram treinadas. Em seguida, o centroide do indivíduo desejado é enviado para o nó SLAM, que o considera durante o processo de mapeamento. A definição de uma determinada pessoa é justificada pela viabilização da implementação de tarefas, em que um robô deve localizar e seguir uma pessoa específica em ambientes reais. Testes foram realizados objetivando a avaliação da acurácia dos classificadores implementados no processo de detecção e identificação de pessoas utilizando ambos os frameworks. Adicionalmente, foram realizados testes de desempenho computacional das implementações do nó de identificação em MatConvNet e Tensorflow sendo executadas em uma arquitetura baseada em CPU e GPU. Por fim, foram realizados experimentos com a plataforma robótica, com o objetivo de avaliar a integração dos sistemas de detecção de pessoas e identificação de indivíduos com o SLAM, em ambiente real. Pelos experimentos, foi possível avaliar o funcionamento do sistema proposto em tempo real, considerando um ambiente semi estruturado.
Redes Neurais Convolucionais;DeepLearning;Localização e Mapeamento Simultâneos
1
100
PORTUGUES
INSTITUTO MILITAR DE ENGENHARIA
O trabalho possui divulgação autorizada

Contexto

ENGENHARIA DE DEFESA
MECATRÔNICA E SISTEMAS DE ARMAS
MÚLTIPLOS MINI-VEÍCULOS AÉREOS NÃO TRIPULADOS EM VOOS COLABORATIVOS

Banca Examinadora

PAULO FERNANDO FERREIRA ROSA
DOCENTE - PERMANENTE
Sim
Nome Categoria
CLAUDIA MARCELA JUSTEL Docente - COLABORADOR
RICARDO CHOREN NOYA Participante Externo
WAGNER TANAKA BOTELHO Participante Externo
JAUVANE CAVALCANTE DE OLIVEIRA Participante Externo
RONALDO RIBEIRO GOLDSCHMIDT Participante Externo
EDUARDO KREMPSER DA SILVA Participante Externo

Vínculo

Servidor Público
Empresa Pública ou Estatal
Ensino e Pesquisa
Sim