Busca avançada
Ano de início
Entree
(Referência obtida automaticamente do Web of Science, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores.)

Neural relational inference for disaster multimedia retrieval

Texto completo
Autor(es):
Fadel, Samuel G. [1] ; Torres, Ricardo da S. [2]
Número total de Autores: 2
Afiliação do(s) autor(es):
[1] Univ Estadual Campinas, Inst Comp, Ave Albert Einstein 1251, BR-13083852 Campinas - Brazil
[2] NTNU Norwegian Univ Sci & Technol, Fac Informat Technol & Elect Engn, Dept ICT & Nat Sci, Alesund - Norway
Número total de Afiliações: 2
Tipo de documento: Artigo Científico
Fonte: MULTIMEDIA TOOLS AND APPLICATIONS; v. 79, n. 35-36 JUL 2020.
Citações Web of Science: 0
Resumo

Events around the world are increasingly documented on social media, especially by the people experiencing them, as these platforms become more popular over time. As a consequence, social media turns into a valuable source of data for understanding those events. Due to their destructive potential, natural disasters are among events of particular interest to response operations and environmental monitoring agencies. However, this amount of information also makes it challenging to identify relevant content pertaining to those events. In this paper, we use a relational neural network model for identifying this type of content. The model is particularly suitable for unstructured text, that is, text with no particular arrangement of words, such as tags, which is commonplace in social media data. In addition, our method can be combined with a CNN for handling multimodal data where text and visual data are available. We perform experiments in three different scenarios, where different modalities are evaluated: visual, textual, and both. Our method achieves competitive performance in both modalities by themselves, while significantly outperforms the baseline on the multimodal scenario. We also demonstrate the behavior of the proposed method in different applications by performing additional experiments in the CUB-200-2011 multimodal dataset. (AU)

Processo FAPESP: 14/50715-9 - Characterizing and predicting biomass production in sugarcane and eucalyptus plantations in Brazil
Beneficiário:Rubens Augusto Camargo Lamparelli
Linha de fomento: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
Processo FAPESP: 16/50250-1 - O segredo de jogar futebol: Brasil versus Holanda
Beneficiário:Sergio Augusto Cunha
Linha de fomento: Auxílio à Pesquisa - Temático
Processo FAPESP: 17/24005-2 - Inferência relacional temporal com redes neurais
Beneficiário:Samuel Gomes Fadel
Linha de fomento: Bolsas no Brasil - Doutorado
Processo FAPESP: 17/20945-0 - EMU concedido no processo 16/50250-1: local positioning system
Beneficiário:Sergio Augusto Cunha
Linha de fomento: Auxílio à Pesquisa - Programa Equipamentos Multiusuários
Processo FAPESP: 14/12236-1 - AnImaLS: Anotação de Imagem em Larga Escala: o que máquinas e especialistas podem aprender interagindo?
Beneficiário:Alexandre Xavier Falcão
Linha de fomento: Auxílio à Pesquisa - Temático
Processo FAPESP: 13/50169-1 - Towards an understanding of tipping points within tropical South American biomes
Beneficiário:Ricardo da Silva Torres
Linha de fomento: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE
Processo FAPESP: 13/50155-0 - Combining new technologies to monitor phenology from leaves to ecosystems
Beneficiário:Leonor Patricia Cerdeira Morellato
Linha de fomento: Auxílio à Pesquisa - Programa de Pesquisa sobre Mudanças Climáticas Globais - PITE
Processo FAPESP: 15/24494-8 - Comunicação e processamento de big data em nuvens e névoas computacionais
Beneficiário:Nelson Luis Saldanha da Fonseca
Linha de fomento: Auxílio à Pesquisa - Temático