Aprendizado multilíngue e multimodal para o português do Brasil

Resumo

Os humanos lidam constantemente com informações multimodais, ou seja, conjuntos de dados de diferentes modalidades, como texto e imagens. Para as máquinas processarem a informação de forma semelhante aos humanos, elas devem ser capazes de processar dados multimodais e compreender a relação conjunta entre essas modalidades, não apenas texto ou imagens de forma isolada, por exemplo. Esse aspecto multimodal do aprendizado pode ser bastante útil em aplicações multilíngue, isto é, aplicações que envolvem dois ou mais idiomas. Este projeto propõe a extensão da framework VTLM (Visual Translation Language Modelling), uma abordagem recém publicada por Caglayan et al. (2021). Para isso, vamos utilizar a coleção de dados multimodal e multilíngue How2 (SANABRIA et al., 2018) em 3 vias paralelas com informações inglês-português-visuais alinhadas e explorar estratégias de masking mais informadas para regiões visuais. Dessa forma, o embasamento da linguagem nas regiões da imagem será feito em conjunto entre os idiomas de origem e de destino para a geração de um modelo multilíngue e multimodal útil para diversas aplicações de PLN. (AU)