Reconstrução de eventos a partir de dados visuais heterogêneos

• Processo: 19/04053-8
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de agosto de 2019
• Data de Término da vigência: 27 de junho de 2024
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Anderson de Rezende Rocha
• Beneficiário: Jing Yang
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Vinculado ao auxílio: 17/12646-3 - Déjà vu: coerência temporal, espacial e de caracterização de dados heterogêneos para análise e interpretação de integridade, AP.TEM
• Bolsa(s) vinculada(s): 22/05002-0 - Repensando a detecção de notícias falsas para o mundo real, BE.EP.DR
• Assunto(s): Visão computacional Aprendizado computacional Inteligência artificial Visualização de dados
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | forense digital | Inteligência Artificial | Visão Computacional | Visão COmputacional / Aprendizado de Máquina

Resumo

A difusão do uso de câmeras e a popularidade de websites de compartilhamento multimídia, como Twitter, Flickr e YouTube resultaram em enormes quantidades de imagens e vídeos disponíveis publicamente. Organizar e explorar tais dados visuais é, mais do que nunca, um problema pertinente em visão computacional. Como parte deste problema, a reconstrução de eventos é de grande importância devido ao seu potencial de aplicações: ela pode ser utilizada para visualizar eventos esportivos e musicais de grande escala em contextos 3D; reviver momentos históricos a partir de um tour de realidade aumentada; explorar extensas áreas afetadas por disastres naturais ou causados pelo homem; e reconstruir cenas de crimes que permitam investigadores capturarem criminosos. Neste projeto de pesquisa, nós investigaremos métodos para organizar, integrar e visualizar dados visuais para reconstrução de eventos históricos. Nós dividimos a reconstrução em três etapas: 1) coleta e organização dos dados visuais; 2) integração dos dados, incluindo composição de imagens e vídeos em uma única cena, e 3) visualização dos diversos dados, que inclúi explorar diferentes formas de reconstrução 3D, projeções dos dados em ambientes 3D e desenvolvimento de um sistema de navegação que permita uma compreensão mais rápida e efetiva por parte dos investigadores. Após a reconstrução do evento, os investigadores podem utilizar os resultados de diversas formas, como rastreamento de pessoas/objetos de interesse, análise comportamental, checagem de fatos, ou análise/compreensão do evento. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

NASCIMENTO, JOSE; CARDENUTO, JOAO PHILLIPE; YANG, JING; ROCHA, ANDERSON; IEEE. Few-shot Learning for Multi-modal Social Media Event Filtering. 2022 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY (WIFS), v. N/A, p. 6-pg., 2022-01-01. (17/12646-3, 20/02241-9, 20/02211-2, 19/04053-8)

YANG, JING; VEGA-OLIVEROS, DIDIER; SEIBT, TAIS; ROCHA, ANDERSON; IEEE. Scalable Fact-checking with Human-in-the-Loop. 2021 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY (WIFS), v. N/A, p. 6-pg., 2021-01-01. (17/12646-3, 19/26283-5, 19/04053-8)

YANG, JING; VEGA-OLIVEROS, DIDIER; SEIBT, TAIS; ROCHA, ANDERSON; IEEE. EXPLAINABLE FACT-CHECKING THROUGH QUESTION ANSWERING. 2022 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), v. N/A, p. 5-pg., 2022-01-01. (19/26283-5, 17/12646-3, 19/04053-8)