Busca avançada
Ano de início
Entree

Sistema inspeção e análise em sistemas robóticos com uso de sensores RGB-D de baixo custo

Processo: 17/00882-4
Linha de fomento:Auxílio à Pesquisa - Pesquisa Inovativa em Pequenas Empresas - PIPE
Vigência: 01 de outubro de 2017 - 31 de maio de 2018
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
Pesquisador responsável:Glaydson Luiz Bertoze Lima
Beneficiário:Glaydson Luiz Bertoze Lima
Empresa:It Fast Consultoria em TI Ltda. - ME
Município: São José dos Campos
Pesquisadores principais:Osamu Saotome
Pesq. associados:Ijar Milagre da Fonseca
Assunto(s):Sensores inteligentes  Rede de sensores sem fio  Pesquisa científica  Rastreamento  Imagem tridimensional  Robótica  Processamento de imagens  Visão computacional 

Resumo

Este projeto visa o desenvolvimento de um sistema que mede e realiza o rastreio de objetos, em tempo de execução, em cenas de vídeo 3D, visualizadas a partir de sensores inteligentes de baixo custo, no caso o sensor Kinect da Microsoft. A solução é proposta por um sistema computacional, responsável por receber sinais de luminosidade (lúmens), intensidade de luz (luxs) e raios ultravioleta (UV) de uma rede de sensores sem fio, instalado no ambiente, realizar a calibração automática dos filtros utilizados no processamento de imagens e visão computacional aplicados ao sistema proposto. Realizada a calibração o sistema recebe as imagens de vídeo (RGB) e profundidade (IR) do sensor Kinect, busca os pontos de interesse desmarcados nos objetos (ex.: quadricópteros, robôs e/ou plataformas aero suportadas) e inicia o rastreio apresentando as coordenadas X, Y e Z de cada ponto de interesse visualizado no vídeo. Essas coordenadas são enviadas via rede, sobre o protocolo UDP, para outro computador, com software simulador (Mathlab, Labview, X-Plane), que recebe essas informações de posicionamento real e compara o resultado previsto (estimado em simulação) do realizado (vida real, percebido e processado pelos sensores Kinect). Com a comparação realizada, é possível aprimorar e validar modelos, por exemplo, de pouso e decolagem automática, voos autônomos e em formação de quadricópteros, estabilidade de robôs em movimento dentre outros. Com o sistema proposto, é possível comparar o sistema robótico estimado em condições reais. A IT FAST já desenvolveu um protótipo primário (software básico comunicando com Kinect) cujo sua funcionalidade básica foi apresentada aos professores de Engenharia Eletrônica/Computação e Mecânica Aeronáutica do ITA - Instituto Tecnológico de Aeronáutica. O projeto de pesquisa proposto pretende apresentar um protótipo, melhor acabado, para rastreamento com sensores de baixo custo, com diferenciais em relação ao estado da arte desta tecnologia no mundo, tendo como principais diferenças: (1) calibração automática dos filtros do software em relação ao ambiente; (2) suporte a sensores Kinects versão 1 (Kinect 360) e versão 2 (Kinect One), o segundo utilizado somente quando houver necessidade de alta resolução; (3) ferramenta desenvolvida mais próxima ao hardware, em linguagem C/C++, maior velocidade na captura do posicionamento X, Y e Z, apoiado por FPGA; (4) software flexível, modular, extensível, de fácil utilização com funções específicas para cada público (robótica aérea e robótica), com ênfase nos mercados de ensino, pesquisa científica e automação industrial. É esperado que no final do projeto tenhamos obtido: uma lista detalhada dos componentes mais adequados ao projeto, validação do protótipo de hardware, verificação do protótipo de software, limites de calibração e uso de sensores de baixo custo para rastreamento em tempo de execução. Para que na sequência, possamos evoluir com essa solução para um produto de mercado. (AU)