UNITY - Melhorando a acessibilidade para pessoas surdas em sistemas de transporte multimodais.

• Processo: 24/23068-4
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de junho de 2025
• Data de Término da vigência: 31 de maio de 2027
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: José Mario de Martino
• Beneficiário: José Mario de Martino
• Pesquisador Responsável no exterior: ALESSANDRO ZIMMER
• Instituição Parceira no exterior: Technical University of Ingolstadt., Alemanha
• Instituição Sede: Faculdade de Engenharia Elétrica e de Computação (FEEC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Pesquisadores associados: Boddu Raviteja ; Hélio Pedrini ; Joed Lopes da Silva ; José Carlos Ferreira ; Munir Georges
• Vinculado ao auxílio: 24/00914-7 - Centro de Ciência para o Desenvolvimento - Tecnologia Assistiva e Acessibilidade em Libras, AP.CCD
• Assunto(s): Aprendizagem profunda
• Palavra(s)-Chave do Pesquisador: Deep Learning | In-vehicle monitoring | Sign Language Machine Translation | Sign Language Production | Sign Language Recognition | Signig 3D Avatar | Tradução de Língua de Sinais

Resumo

O projeto visa fortalecer a colaboração entre o grupo de pesquisa da Technische Hoschule Ingolstadt liderado pelo Prof. Zimmer e Prof. Georges e o Centro de Ciência para o Desenvolvimento - Tecnologia Assistiva e Acessibilidade em Libras (CCD-TAAL) da Universidade Estadual de Campinas liderado pelo Prof. De Martino, com foco em novos estudos em monitoramento e melhoria da comunicação para indivíduos surdos dentro de veículos. O projeto se concentra no desenvolvimento de abordagens de reconhecimento e tradução de Línguas de Sinais Brasileira e Alemã. O escopo do projeto também inclui a formulação de conceitos de Experiência do Usuário (UX) para unidades principais de carros e dispositivos móveis compatíveis, como smartphones e tablets, com base no comportamento dos ocupantes do veículo e na interação com um avatar 3D. O objetivo é aumentar a segurança e o conforto dento do veiculo. A estratégia do projeto é explorar sensores multimodais e redes neurais profundas e desenvolver provas de conceito funcionais com interfaces de usuário associadas para testar e avaliar os desenvolvimentos. Objetivos específicos são definir e construir base de dados, reconhecer gestos e linguagem de sinais usando redes neurais profundas, criar modelos humanos virtuais 3D e efetuar avaliações de usuários usando provas de conceito funcionais. A metodologia aproveita a expertise das equipes de pesquisa do THI e da UNICAMP, com atividades coordenadas por meio de reuniões e workshops regulares. As principais atividades incluem criar bases de dados para atividade humana, reconhecimento e tradução de gestos e linguagem de sinais, desenvolver modelos neurais profundos e gerar avatares 3D realistas para comunicação. (AU)