Aprendizado multilíngue e multimodal para o português do Brasil

• Processo: 22/04442-7
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Iniciação Científica
• Data de Início da vigência: 06 de junho de 2022
• Data de Término da vigência: 05 de setembro de 2022
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Helena de Medeiros Caseli
• Beneficiário: Júlia Yumi Araújo Sato
• Supervisor: Lucia Specia
• Instituição Sede: Centro de Ciências Exatas e de Tecnologia (CCET). Universidade Federal de São Carlos (UFSCAR). São Carlos , SP, Brasil
• Instituição Anfitriã: University of Sheffield, Inglaterra
• Vinculado à bolsa: 20/15995-1 - Aprendizado multilíngue e multimodal para o português do Brasil, BP.IC
• Assunto(s): Português do Brasil Multilinguismo Processamento de linguagem natural Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: multilíngue | multimodal | Processamento de língua natural

Resumo

Os humanos lidam constantemente com informações multimodais, ou seja, conjuntos de dados de diferentes modalidades, como texto e imagens. Para as máquinas processarem a informação de forma semelhante aos humanos, elas devem ser capazes de processar dados multimodais e compreender a relação entre essas modalidades. Esse aspecto multimodal do aprendizado pode ser bastante útil em aplicações multilíngue, isto é, aplicações que envolvem dois ou mais idiomas. O objetivo deste projeto é explorar estratégias que resultem em um pré-treinamento mais eficiente no contexto do processamento multilíngue e multimodal, como a análise do efeito do masking visual de região para a tarefa masked region classification, bem como aplicar o conhecimento e resultados obtidos nesta pesquisa para complementar o projeto inicial da FAPESP, que surgiu como uma tentativa de atacar o problema do aprendizado multimodal e multilíngue envolvendo a língua portuguesa, propondo a adaptação da framework VTLM para diferentes idiomas e para circunstâncias mais desafiadoras relacionadas à relação imagem-texto. Acreditamos que os resultados alcançados serão interessantes para a comunidade científica. Além disso, este projeto BEPE visa enriquecer a formação da aluna em importantes áreas da computação, aprofundando seus conhecimentos em processamento de língua natural e conceitos, abordagens e técnicas de aprendizado de máquina. (AU)