Reconstrução de eventos a partir de dados visuais heterogêneos

• Processo: 19/04053-8
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de agosto de 2019
• Data de Término da vigência: 27 de junho de 2024
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Anderson de Rezende Rocha
• Beneficiário: Jing Yang
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Vinculado ao auxílio: 17/12646-3 - Déjà vu: coerência temporal, espacial e de caracterização de dados heterogêneos para análise e interpretação de integridade, AP.TEM
• Bolsa(s) vinculada(s): 22/05002-0 - Repensando a detecção de notícias falsas para o mundo real, BE.EP.DR
• Assunto(s): Visão computacional Aprendizado computacional Inteligência artificial Visualização de dados
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | forense digital | Inteligência Artificial | Visão Computacional | Visão COmputacional / Aprendizado de Máquina

Resumo

A difusão do uso de câmeras e a popularidade de websites de compartilhamento multimídia, como Twitter, Flickr e YouTube resultaram em enormes quantidades de imagens e vídeos disponíveis publicamente. Organizar e explorar tais dados visuais é, mais do que nunca, um problema pertinente em visão computacional. Como parte deste problema, a reconstrução de eventos é de grande importância devido ao seu potencial de aplicações: ela pode ser utilizada para visualizar eventos esportivos e musicais de grande escala em contextos 3D; reviver momentos históricos a partir de um tour de realidade aumentada; explorar extensas áreas afetadas por disastres naturais ou causados pelo homem; e reconstruir cenas de crimes que permitam investigadores capturarem criminosos. Neste projeto de pesquisa, nós investigaremos métodos para organizar, integrar e visualizar dados visuais para reconstrução de eventos históricos. Nós dividimos a reconstrução em três etapas: 1) coleta e organização dos dados visuais; 2) integração dos dados, incluindo composição de imagens e vídeos em uma única cena, e 3) visualização dos diversos dados, que inclúi explorar diferentes formas de reconstrução 3D, projeções dos dados em ambientes 3D e desenvolvimento de um sistema de navegação que permita uma compreensão mais rápida e efetiva por parte dos investigadores. Após a reconstrução do evento, os investigadores podem utilizar os resultados de diversas formas, como rastreamento de pessoas/objetos de interesse, análise comportamental, checagem de fatos, ou análise/compreensão do evento. (AU)

Publicações científicas

(6)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

YANG, JING; ROCHA, ANDERSON. Take It Easy: Label-Adaptive Self-Rationalization for Fact Verification and Explanation Generation. 2024 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY, WIFS 2024, v. N/A, p. 6-pg., 2024-01-01. (23/12865-8, 19/04053-8)

YANG, JING; GLOCKNER, MAX; ROCHA, ANDERSON; GUREVYCH, IRYNA. Self-Rationalization in the Wild: A Large-scale Out-of-Distribution Evaluation on NLI-related tasks. TRANSACTIONS OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, v. 13, p. 29-pg., 2025-04-03. (19/04053-8, 23/12865-8, 22/05002-0)

YANG, JING; VEGA-OLIVEROS, DIDIER; SEIBT, TAIS; ROCHA, ANDERSON; IEEE. Scalable Fact-checking with Human-in-the-Loop. 2021 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY (WIFS), v. N/A, p. 6-pg., 2021-01-01. (17/12646-3, 19/26283-5, 19/04053-8)

NASCIMENTO, JOSE; CARDENUTO, JOAO PHILLIPE; YANG, JING; ROCHA, ANDERSON; IEEE. Few-shot Learning for Multi-modal Social Media Event Filtering. 2022 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY (WIFS), v. N/A, p. 6-pg., 2022-01-01. (17/12646-3, 20/02241-9, 20/02211-2, 19/04053-8)

YANG, JING; VEGA-OLIVEROS, DIDIER; SEIBT, TAIS; ROCHA, ANDERSON; IEEE. EXPLAINABLE FACT-CHECKING THROUGH QUESTION ANSWERING. 2022 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), v. N/A, p. 5-pg., 2022-01-01. (19/26283-5, 17/12646-3, 19/04053-8)

CARDENUTO, JOAO PHILLIPE; YANG, JING; PADILHA, RAFAEL; WAN, RENJIE; MOREIRA, DANIEL; LI, HAOLIANG; WANG, SHIQI; ANDALO, FERNANDA; MARCEL, SEBASTIEN; ROCHA, ANDERSON. The Age of Synthetic Realities: Challenges and Opportunities. APSIPA TRANSACTIONS ON SIGNAL AND INFORMATION PROCESSING, v. 12, n. 1, p. 62-pg., 2023-01-01. (22/05002-0, 17/12646-3, 19/04053-8, 20/02211-2)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

YANG, Jing. Combating disinformation with explainable and efficient fact-checking. 2024. Tese de Doutorado - Universidade Estadual de Campinas (UNICAMP). Instituto de Computação Campinas, SP.