Geração de descrições de imagens em sites de notícias

• Processo: 18/11367-6
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de agosto de 2018
• Data de Término da vigência: 31 de dezembro de 2019
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Helena de Medeiros Caseli
• Beneficiário: João Gabriel Melo Barbirato
• Instituição Sede: Centro de Ciências Exatas e de Tecnologia (CCET). Universidade Federal de São Carlos (UFSCAR). São Carlos , SP, Brasil
• Assunto(s): Processamento de linguagem natural Visão computacional Aprendizado computacional Representação semântica Notícia Mídias sociais
• Palavra(s)-Chave do Pesquisador: Alinhamento texto-imagem | Aprendizado de Máquina | Descrição de imagem | Processamento de Linguagem Natural | Visão Computacional | Procesamento de Linguagem Natural, Visão Computacional

Resumo

A quantidade de conteúdos produzidos, hoje, na internet e nas redes sociais faz aumentar cada vez mais a demanda por sistemas automáticos capazes de processá-los e transformá-lo sem informação. De especial interesse para este projeto são as notícias de jornais online produzidas e disponibilizadas massivamente na internet. Para facilitar o entendimento da notícia e da imagem que a acompanha, este projeto propõe a geração de descrições para regiões específicas da imagem tendo como base: (1) o alinhamento explicitamente definido entre o texto e a imagem da notícia e (2) as informações semânticas presentes no texto. Para tanto, pretende-se utilizar um alinhador texto-imagem desenvolvido em (VELTRONI, 2018) e a Abstract Meaning Representation (AMR) de (BANARESCU et al., 2013). Esta proposta está vinculada ao projeto MMeaning (Auxílio Regular FAPESP #2016/13002-0) e à proposta "RSMM: Region-specific multimodal models and their application in language tasks" submetida ao Newton Mobility Grants 2018 Round 1, sob análise no momento, proposto em parceria com a Profa. Dra. Lucia Specia da Universidade de Sheffield.