Aplicação com Inteligência Artificial para Tradução de Textos em Libras com Avatar Digital Interativo

• Processo: 24/22553-6
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de março de 2025
• Data de Término da vigência: 28 de fevereiro de 2026
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: João Paulo Papa
• Beneficiário: Pedro Henrique Crespan Ribeiro
• Instituição Sede: Faculdade de Ciências (FC). Universidade Estadual Paulista (UNESP). Campus de Bauru. Bauru , SP, Brasil
• Vinculado ao auxílio: 24/01132-2 - Centro Multidisciplinar para o Desenvolvimento de Tecnologia Assistiva (CMDTA), AP.CCD
• Assunto(s): Acessibilidade Inteligência artificial Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Acessibilidade | Inteligência Artificial | Aprendizado de máquina

Resumo

Este projeto visa desenvolver uma aplicação que promova a acessibilidade comunicacional para pessoas surdas ou com deficiência auditiva. A proposta é utilizar tecnologia de inteligência artificial (IA) para converter textos digitados pelos usuários em uma tradução visual para a Língua Brasileira de Sinais (Libras). A aplicação incluirá um avatar digital interativo, capaz de reproduzir claramente os sinais correspondentes ao texto, conforme as normas e convenções da Libras.O primeiro passo do projeto será criar um benchmark utilizando frases com ambiguidades, múltiplos significados para uma mesma palavra e outras variações linguísticas. Os modelos de linguagem candidatos para serem utilizados no projeto serão testados com as frases para avaliar sua precisão na adaptação do texto em português para a estrutura textual de Libras, eliminando partes irrelevantes ou redundantes. Os resultados desses testes fornecerão informações relevantes para determinar os pontos fortes e as limitações de cada modelo.A escolha do modelo de linguagem será baseada nos testes realizados nos modelos candidatos, com foco em sua capacidade de lidar com as ambiguidades e variações linguísticas. Além disso, a escolha será feita considerando as limitações do hardware disponível para o projeto, visando eficiência e viabilidade.Para treinar a rede neural que executará os gestos do avatar, será definida uma base de dados específica, contendo um dicionário português-Libras para possibilitar a tradução, em que será considerada a variedade de informações, considerando a quantidade de sinais, para que a aplicação seja robusta e possa ser utilizada em diferentes contextos. Com isso, será desenvolvida a rede neural, em que serão avaliados diferentes algoritmos de redes neurais para identificar o mais adequado à aplicação, para que os gestos sejam reproduzidos de maneira fluida e natural. Paralelamente, o avatar digital que representará os sinais em Libras será definido. Serão priorizados movimentos fluidos e expressões faciais precisas, elementos essenciais para a comunicação em Libras. Também será desenvolvida a integração entre as inteligências artificiais envolvidas no projeto, permitindo que a tradução do texto em sinais seja realizada de forma coesa. Então, será realizado o treinamento da rede neural, visando assegurar a execução correta dos sinais a partir da base de dados previamente selecionada.Por fim, será criada uma interface acessível e intuitiva para o usuário final, em que o minimalismo e a facilidade de uso serão priorizados. A aplicação será projetada para funcionar em diferentes contextos, como educação, atendimento em serviços públicos e interações cotidianas, ampliando seu impacto social.Além de promover a inclusão social, o projeto busca reduzir as barreiras de comunicação enfrentadas pela comunidade surda no Brasil. Alinhado aos princípios da acessibilidade universal e às diretrizes da legislação brasileira, essa iniciativa pretende contribuir com a utilização de tecnologias digitais para democratizar a comunicação e ampliar as oportunidades de integração social e profissional para pessoas surdas.