Sistema inspeção e análise em sistemas robóticos com uso de sensores RGB-D de baixo custo

• Processo: 17/00882-4
• Modalidade de apoio: Auxílio à Pesquisa - Pesquisa Inovativa em Pequenas Empresas - PIPE
• Data de Início da vigência: 01 de outubro de 2017
• Data de Término da vigência: 31 de maio de 2018
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Glaydson Luiz Bertoze Lima
• Beneficiário: Glaydson Luiz Bertoze Lima
• Empresa: It Fast Consultoria em TI Ltda. - ME
• Município: São José dos Campos
• Pesquisadores principais: Osamu Saotome
• Pesquisadores associados: IJAR MILAGRE DA FONSECA
• Assunto(s): Sensores inteligentes Rede de sensores sem fio Pesquisa científica Rastreamento Imagem tridimensional Robótica Processamento de imagens Visão computacional
• Palavra(s)-Chave do Pesquisador: Análise e Inspeção por imagens | Pesquisa Científica | Rastreamento 3D | Rgb-D | Sensores inteligentes | Tracking motion | Eletrônica Industrial, Sistemas e Controles Eletrônicos

Resumo

Este projeto visa o desenvolvimento de um sistema que mede e realiza o rastreio de objetos, em tempo de execução, em cenas de vídeo 3D, visualizadas a partir de sensores inteligentes de baixo custo, no caso o sensor Kinect da Microsoft. A solução é proposta por um sistema computacional, responsável por receber sinais de luminosidade (lúmens), intensidade de luz (luxs) e raios ultravioleta (UV) de uma rede de sensores sem fio, instalado no ambiente, realizar a calibração automática dos filtros utilizados no processamento de imagens e visão computacional aplicados ao sistema proposto. Realizada a calibração o sistema recebe as imagens de vídeo (RGB) e profundidade (IR) do sensor Kinect, busca os pontos de interesse desmarcados nos objetos (ex.: quadricópteros, robôs e/ou plataformas aero suportadas) e inicia o rastreio apresentando as coordenadas X, Y e Z de cada ponto de interesse visualizado no vídeo. Essas coordenadas são enviadas via rede, sobre o protocolo UDP, para outro computador, com software simulador (Mathlab, Labview, X-Plane), que recebe essas informações de posicionamento real e compara o resultado previsto (estimado em simulação) do realizado (vida real, percebido e processado pelos sensores Kinect). Com a comparação realizada, é possível aprimorar e validar modelos, por exemplo, de pouso e decolagem automática, voos autônomos e em formação de quadricópteros, estabilidade de robôs em movimento dentre outros. Com o sistema proposto, é possível comparar o sistema robótico estimado em condições reais. A IT FAST já desenvolveu um protótipo primário (software básico comunicando com Kinect) cujo sua funcionalidade básica foi apresentada aos professores de Engenharia Eletrônica/Computação e Mecânica Aeronáutica do ITA - Instituto Tecnológico de Aeronáutica. O projeto de pesquisa proposto pretende apresentar um protótipo, melhor acabado, para rastreamento com sensores de baixo custo, com diferenciais em relação ao estado da arte desta tecnologia no mundo, tendo como principais diferenças: (1) calibração automática dos filtros do software em relação ao ambiente; (2) suporte a sensores Kinects versão 1 (Kinect 360) e versão 2 (Kinect One), o segundo utilizado somente quando houver necessidade de alta resolução; (3) ferramenta desenvolvida mais próxima ao hardware, em linguagem C/C++, maior velocidade na captura do posicionamento X, Y e Z, apoiado por FPGA; (4) software flexível, modular, extensível, de fácil utilização com funções específicas para cada público (robótica aérea e robótica), com ênfase nos mercados de ensino, pesquisa científica e automação industrial. É esperado que no final do projeto tenhamos obtido: uma lista detalhada dos componentes mais adequados ao projeto, validação do protótipo de hardware, verificação do protótipo de software, limites de calibração e uso de sensores de baixo custo para rastreamento em tempo de execução. Para que na sequência, possamos evoluir com essa solução para um produto de mercado. (AU)