Developing an experimental telepresence system with Augmented Reality interactions

• Grant number: 19/18011-5
• Support Opportunities: Scholarships in Brazil - Technical Training Program - Technical Training
• Start date: September 01, 2019
• End date: March 31, 2020
• Field of knowledge: Physical Sciences and Mathematics - Computer Science
• Principal Investigator: Marcelo Aparecido Pelegrini
• Grantee: Leonardo Henrique Tomassetti Ferreira Neto
• CNAE: Desenvolvimento e licenciamento de programas de computador customizáveis ; Desenvolvimento e licenciamento de programas de computador não-customizáveis ; Pesquisa e desenvolvimento experimental em ciências físicas e naturais
• Associated research grant: 18/21817-9 - Assist - Telepresence Application with Augmented Reality for Remote Support, AP.PIPE

Abstract

Um dos principais desafios enfrentados por profissionais que trabalham em atividades de campo é a falta de informação e/ou experiência para a realização das atividades. Em momentos críticos, a comunicação eficiente com supervisores e especialistas é essencial. Entretanto, esta comunicação nem sempre é efetiva pela dificuldade do supervisor em enxergar o em enxergar o contexto em que o profissional se encontra e em transmitir o seu conhecimento.Para resolver este problema, a nossa proposta visa demonstrar a viabilidade tecnológica de um produto que emprega a tecnologia de Realidade Aumentada(RA) em conjunto com chamadas de vídeo em tempo real, baseando-se na adaptação de tecnologias de Visual Simultaneous Localization and Mapping (SLAM) ao problema. Também é objetivo comprovar que é possível reduzir o custo da solução final, utilizando-se dispositivos de menor custo que não contam com sensores de profundidade na coleta de dados, substituindo-se por funções em software. A metodologia proposta pelo projeto contempla a calibração de algoritmo de Visual SLAM de software development kit (SDK) de terceiros para a mapeamento de ambientes reais capturados por câmeras e transmitidos por videochamada. As funções de mapeamento desenvolvidas terão seu desempenho comprado com aplicação de produtos que utilizam mapeamento em hardware com base em sensor de profundidade. Assim, o protótipo gerado deve permitir a movimentação local e o deslocamento em instalação por parte do usuário sem a perda das informações adicionadas pela Realidade Aumentada. Como resultado, espera-se alcançar o estágio de protótipo do produto com maturidade técnica e tecnológica de mapeamento de ambientes equivalente a produtos estrangeiros. Porém, permitindo a utilização em dispositivos do tipo Óculos Inteligentes de menor custo, alcançando um menor preço no produto final. Do ponto de vista funcional, deverá ser alcançada uma ferramenta que permita a comunicação por videochamadas, na qual um supervisor tenha capacidade de enxergar o ambiente observado pelo usuário em local remoto e também possa interagir por meio de elementos inseridos por meio da tecnologia de RA.A abordagem proposta encontra aplicação em qualquer empresa que possui atividades de campo e apresente necessidades de supervisão e suporte de forma remota, permitindo flexibilidade de acesso a informações e conhecimento restritos somente a especialistas. Isto inclui os setores de manufatura, construção civil, energia elétrica, óleo & gás, telecomunicações, transporte, entre outros. Dada a diversidade de indústrias para a aplicação do produto, pode-se afirmar que há um mercado extremamente atrativo para a oferta da solução.O desenvolvimento deste produto representa a oportunidade para o mercado brasileiro de ter acesso a um produto com avançada maturidade tecnológica em RA, em idioma português e com suporte local. Como as empresas estrangeiras que possuem produtos similares não tem demonstrado interesse em trazer suas soluções para o Brasil no curto prazo, representa uma oportunidade para a empresa proponente se estabelecer como um fornecedor e dominar parte do mercado antes que haja o avanço das empresas multinacionais.