Development of the eye-tracking system to control the drone

• Grant number: 17/19522-8
• Support Opportunities: Scholarships in Brazil - Innovative Research in Small Business - PIPE
• Start date: October 01, 2017
• End date: April 30, 2018
• Field of knowledge: Interdisciplinary Subjects
• Principal Investigator: Marcus Vinicius Pontes Lima
• Grantee: Marcus Vinicius Pontes Lima
• Company: Acta Visio Desenvolvimento em Visão Computacional Ltda
• Associated research grant: 16/15351-1 - Project, development and assembly of a prototype of an eye tracking system embedded in a first person view goggles for drone control customized for paraplegic people, AP.PIPE

Abstract

Segundo o censo demográfico realizado pelo IBGE em 2010, aproximadamente 7% da população brasileira (13.357.420 pessoas) tem deficiência motora. Estas pessoas muitas vezes são dependentes por terem dificuldade de se locomover por contra própria, principalmente pela falta de infraestrutura adaptada às suas necessidades. Além disto, há uma grande barreira na integração social deste público, dificultando a socialização e inserção no mercado de trabalho devido à suas limitações físicas. De acordo com o site de notícias IDGnow, o mercado de drones no Brasil pode gerar até 5 mil empregos, incluindo vendas, treinamento de pilotos e prestação de serviços. Considerando este crescente mercado e a necessidade de deficientes motores, especialmente os tetraplégicos, de adentrar no mercado de trabalho, verifica-se a oportunidade de implementar uma tecnologia inovadora possibilitando o controle de drones apenas com o movimento dos olhos através de óculos First Person View (FPV) para visualização, um conjunto de câmeras infravermelho para captura da imagem dos olhos e um computador para processamento e comunicação com o drone. Este projeto visa também a contribuição em outros quesitos, como: entretenimento, avanços no comando de dispositivos robóticos através do rastreamento ocular e estudos na recuperação de pacientes com lesão cerebral utilizando a movimentação ocular como forma de exercício. Tal tecnologia pode ser utilizada por qualquer um, desde pessoas integralmente capazes à indivíduos com apenas a movimentação da cabeça. O software a ser desenvolvido terá enfoque aos tipos de deficiência mais severos, onde não há movimentação das pernas e braços, ou seja, todos os testes para validação do conceito serão realizados nestas pessoas, juntamente com profissionais experientes na área. Apesar disto, não se deve descartar os demais públicos, já que o controle do drone pelos olhos possibilita que as mãos sejam utilizadas para outras finalidades, como o controle de uma ferramenta acoplada ao drone ou execução de comandos mais complexos. A utilização de drones com câmeras embarcadas ao FPV permite que o deficiente possa explorar ambientes, comunicar-se e interagir, proporcionando benefícios ao seu bem-estar, além de capacitá-los à inserção no mercado de trabalho de drones. Contudo, para tornar esta tecnologia acessível, é necessária uma forma de controle do drone embarcada aos óculos FPV. Verifica-se que esta ainda é uma área em desenvolvimento pela publicação recente de trabalhos científicos na área. Além disto, atualmente não são encontrados óculos FPV com tecnologia de rastreamento ocular disponíveis no mercado, possibilitando uma grande oportunidade de negócio neste setor. Com isto, esta proposta de pesquisa visa o projeto, desenvolvimento e montagem de um sistema genérico de câmeras infravermelho embarcadas aos óculos FPV, efetuando o processamento de imagens e o rastreamento ocular via software através de um computador externo, possibilitando pessoas com incapacidade motora a controlarem o drone remotamente. O principal resultado esperado é um sistema de sensores de rastreamento ocular que possa ser adaptado para qualquer modelo de óculos de visão em primeira pessoa (FPV) e o software de comando especialmente desenvolvido para pessoas tetraplégicas, possibilitando posteriormente uma maior integração social deste público. (AU)