Aprendizado multilíngue e multimodal para o português do Brasil

• Processo: 20/15995-1
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de abril de 2021
• Data de Término da vigência: 31 de dezembro de 2022
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Helena de Medeiros Caseli
• Beneficiário: Júlia Yumi Araújo Sato
• Instituição Sede: Centro de Ciências Exatas e de Tecnologia (CCET). Universidade Federal de São Carlos (UFSCAR). São Carlos , SP, Brasil
• Bolsa(s) vinculada(s): 22/04442-7 - Aprendizado multilíngue e multimodal para o português do Brasil, BE.EP.IC
• Assunto(s): Aprendizado computacional Processamento de dados Processamento de linguagem natural Dicionários multilíngues Multimodalidade Português do Brasil
• Palavra(s)-Chave do Pesquisador: multilíngue | multimodal | Português do Brasil | Processamento de língua natural

Resumo

Os humanos lidam constantemente com informações multimodais, ou seja, conjuntos de dados de diferentes modalidades, como texto e imagens. Para as máquinas processarem a informação de forma semelhante aos humanos, elas devem ser capazes de processar dados multimodais e compreender a relação conjunta entre essas modalidades, não apenas texto ou imagens de forma isolada, por exemplo. Esse aspecto multimodal do aprendizado pode ser bastante útil em aplicações multilíngue, isto é, aplicações que envolvem dois ou mais idiomas. Este projeto propõe a extensão da framework VTLM (Visual Translation Language Modelling), uma abordagem recém publicada por Caglayan et al. (2021). Para isso, vamos utilizar a coleção de dados multimodal e multilíngue How2 (SANABRIA et al., 2018) em 3 vias paralelas com informações inglês-português-visuais alinhadas e explorar estratégias de masking mais informadas para regiões visuais. Dessa forma, o embasamento da linguagem nas regiões da imagem será feito em conjunto entre os idiomas de origem e de destino para a geração de um modelo multilíngue e multimodal útil para diversas aplicações de PLN. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

SATO, JULIA; CASELI, HELENA; SPECIA, LUCIA; MARIANI, J; CALZOLARI, N; BECHET, F; BLACHE, P; CHOUKRI, K; CIERI, C; DECLERCK, T; et al. Multilingual and Multimodal Learning for Brazilian Portuguese. LREC 2022: THIRTEEN INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION, v. N/A, p. 9-pg., 2022-01-01. (20/15995-1)