Geração automática de legendas de imagens com deep learning

• Processo: 18/09368-4
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de julho de 2018
• Data de Término da vigência: 30 de junho de 2019
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Adriane Beatriz de Souza Serapião
• Beneficiário: Maynara Natalia Scoparo
• Instituição Sede: Instituto de Geociências e Ciências Exatas (IGCE). Universidade Estadual Paulista (UNESP). Campus de Rio Claro. Rio Claro , SP, Brasil
• Assunto(s): Inteligência artificial Processamento de linguagem natural Visão computacional Redes neurais (computação) Redes neurais convolucionais Imagem digital Legendas
• Palavra(s)-Chave do Pesquisador: Deep Learning | Image captioning | Processamento de Linguagem Natural | Redes neurais | Deep Learning

Resumo

Geração automática de legendas de imagens é uma tarefa que consiste em decifrar uma imagem e descrevê-la em frases em linguagem natural. Esta tarefa combina Processamento de Linguagem Natural e Visão por Computador para gerar as legendas. Recentemente, os métodos de Deep Learning estão conseguindo resultados muito promissores para o problema de geração de legendas. Esta pesquisa propõe investigar novas combinações de redes neurais convolucionais sobre imagens e de redes neurais recorrentes sobre sentenças, alinhando-as a um objetivo estruturado para produzir a descrição textual de uma imagem. (AU)