MMeaning - representação semântica distribuída multimodal

• Processo: 16/13002-0
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de outubro de 2016
• Data de Término da vigência: 31 de outubro de 2018
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Helena de Medeiros Caseli
• Beneficiário: Helena de Medeiros Caseli
• Instituição Sede: Centro de Ciências Exatas e de Tecnologia (CCET). Universidade Federal de São Carlos (UFSCAR). São Carlos , SP, Brasil
• Pesquisadores associados: Eloize Rossi Marques Seno ; Jander Moreira
• Assunto(s): Aprendizado computacional Inteligência artificial Processamento de linguagem natural Representação semântica
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Processamento De Língua Natural | Representação distribuída | Representação distribuída multimodal | Representação semântica | Inteligência Artificial

Resumo

Com a disponibilização cada vez maior de informação na web, o processamento e a recuperação de informação textual e visual são atividades imprescindíveis na geração automática de conhecimento. Como a maior parte da informação disponibilizada na web é composta de texto em língua natural e de imagens, processá-los de modo "inteligente" envolve, necessariamente, o entendimento (a interpretação) do significado da informação que eles transmitem. Uma das formas mais utilizadas para representação do conteúdo semântico é a representação semântica distribuída, a qual está baseada na hipótese distribucional que estabelece que o sentido de uma palavra é dado por seu contexto de ocorrência. Embora a fonte principal para extração de conhecimento semântico usando a hipótese distribucional sejam os corpora, outras fontes de informação extralinguísticas, como imagens, também devem ser levadas em consideração. A combinação de múltiplas fontes de informação na geração de representações semânticas é denominada representação semântica distribuída multimodal. A essa nova linha de investigação soma-se o recente interesse nos modelos de representação distribuída baseados em redes neurais, também conhecidos como modelos de aprendizado profundo (deep learning). Nesse contexto, este projeto visa investigar o uso de fontes diversas de conhecimento, como textos paralelos/comparáveis e imagens, na modelagem semântica distribuída de textos em língua natural a fim de enriquecer as informações utilizadas em aplicações de Processamento de Língua Natural e Recuperação de Informação. (AU)

Publicações científicas

(8)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

RODRIGUES DA SILVA, JESSICA; CASELI, HELENA DE M.. Sense representations for Portuguese: experiments with sense embeddings and deep neural language models. Language Resources and Evaluation, FEB 2021. (16/13002-0)

CASELI, HELENA DE MEDEIROS; INACIO, MARCIO LIMA; CALZOLARI, N; BECHET, F; BLACHE, P; CHOUKRI, K; CIERI, C; DECLERCK, T; GOGGI, S; ISAHARA, H; et al. NMT and PBSMT Error Analyses in English to Brazilian Portuguese Automatic Translations. PROCEEDINGS OF THE 12TH INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC 2020), v. N/A, p. 7-pg., 2020-01-01. (16/21317-0, 16/13002-0)

ITO, FERNANDO TADAO; CASELI, HELENA DE MEDEIROS; MOREIRA, JANDER; IEEE. The Effects of Underlying Mono and Multilingual Representations for Text Classification. 2018 7TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS), v. N/A, p. 6-pg., 2018-01-01. (16/13002-0)

VIEIRA, MIGUEL G.; MOREIRA, JANDER; GARCIAGONCALVES, LM; BESERRAGOMES, R. Classification of E-commerce-related Images Using Hierarchical Classification with Deep Neural Networks. 2017 WORKSHOP OF COMPUTER VISION (WVC), v. N/A, p. 6-pg., 2017-01-01. (16/13002-0)

ITO, FERNANDO TADAO; CASELI, HELENA DE MEDEIROS; MOREIRA, JANDER; DECLERCK, T; CALZOLARI, N; CHOUKRI, K; CIERI, C; HASIDA, K; ISAHARA, H; MAEGAARD, B; et al. The Effects of Unimodal Representation Choices on Multimodal Learning. PROCEEDINGS OF THE ELEVENTH INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC 2018), v. N/A, p. 8-pg., 2018-01-01. (16/13002-0)

RODRIGUES DA SILVA, JESSICA; CASELI, HELENA DE M.. Sense representations for Portuguese: experiments with sense embeddings and deep neural language models. Language Resources and Evaluation, v. 55, n. 4, p. 24-pg., 2021-02-28. (16/13002-0)

INACIO, MARCIO LIMA; CASELI, HELENA DE MEDEIROS; QUARESMA, P; VIEIRA, R; ALUISIO, S; MONIZ, H; BATISTA, F; GONCALVES, T. Word Embeddings at Post-Editing. COMPUTATIONAL PROCESSING OF THE PORTUGUESE LANGUAGE, PROPOR 2020, v. 12037, p. 12-pg., 2020-01-01. (16/21317-0, 16/13002-0)

VELTRONI, WELLINGTON CRISTIANO; CASELI, HELENA DE MEDEIROS; VILLAVICENCIO, A; MOREIRA, V; ABAD, A; CASELI, H; GAMALLO, P; RAMISCH, C; OLIVEIRA, HG; PAETZOLD, GH. Text-Image Alignment in Portuguese News Using LinkPICS. COMPUTATIONAL PROCESSING OF THE PORTUGUESE LANGUAGE, PROPOR 2018, v. 11122, p. 11-pg., 2018-01-01. (16/13002-0)