Análise de dados heterogêneos para detecção de eventos

• Processo: 18/16214-3
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Data de Início da vigência: 01 de dezembro de 2018
• Data de Término da vigência: 29 de fevereiro de 2020
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Zanoni Dias
• Beneficiário: Caroline Mazini Rodrigues
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Vinculado ao auxílio: 17/12646-3 - Déjà vu: coerência temporal, espacial e de caracterização de dados heterogêneos para análise e interpretação de integridade, AP.TEM
• Assunto(s): Aprendizado computacional Análise espaço-temporal Eventos Mídias sociais Análise de dados
• Palavra(s)-Chave do Pesquisador: dados heterogêneos | detecção de eventos | forense digital | Aprendizado de Máquina

Resumo

Considerando a ocorrência de um evento com grande impacto social, é importante estabelecer uma relação espaço-temporal das informações disponíveis e assim, responder algumas questões sobre o evento como "quem", "como", "onde" e o "porquê". Este trabalho é parte do projeto temático FAPESP "DéjàVu: Feature-Space-Time Coherence from Heterogeneous Data for Media Integrity Analytics and Interpretation of Events" e propõe, a partir de dados coletados de redes sociais, determinar a relevância destes para o evento analisado, possibilitando a correta construção de relações entre esses dados durante a etapa de análise. Os principais desafios deste trabalho são as características dos dados que serão utilizados: heterogeneidade, já que são obtidos de diferentes fontes; multimodalidade, incluindo textos, imagens e v1deos; não-rotulação, não apresentando rótulos de relevância para o evento; e não-estruturação, já que não possuem caracter1sticas que possam ser utilizadas diretamente durante o aprendizado. Para determinar a relevância de itens analisados, será seguida uma sequência de etapas que incluem: preparação dos dados, onde eliminaremos redundâncias e rotularemos parte dos dados; engenharia de caracter1sticas, onde extrairemos características visuais e textuais; aprendizado de máquina, onde analisaremos técnicas de aprendizado não supervisionado e semi-supervisionado; e, validação e análise dos resultados, onde avaliaremos as soluções obtidas. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

RODRIGUES, CAROLINE MAZINI; SORIANO-VARGAS, AUREA; LAVI, BAHRAM; ROCHA, ANDERSON; DIAS, ZANONI. Manifold Learning for Real-World Event Understanding. IEEE Transactions on Information Forensics and Security, v. 16, p. 2957-2972, 2021. (18/16548-9, 18/16214-3, 17/16246-0, 15/11937-9, 18/05668-3, 13/08293-7, 17/12646-3, 17/16871-1)

PADILHA, RAFAEL; RODRIGUES, CAROLINE MAZINI; ANDALO, FERNANDA; BERTOCCO, GABRIEL; DIAS, ZANONI; ROCHA, ANDERSON. Forensic Event Analysis: From Seemingly Unrelated Data to Understanding. IEEE SECURITY & PRIVACY, v. 18, n. 6, p. 23-32, NOV 2020. (18/16214-3, 17/21957-2, 17/12646-3)

RODRIGUES, CAROLINE MAZINI; PEREIRA, LUIS; ROCHA, ANDERSON; DIAS, ZANONI; IEEE. Image Semantic Representation for Event Understanding. 2019 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY (WIFS), v. N/A, p. 6-pg., 2019-01-01. (17/12646-3, 15/11937-9, 13/08293-7, 17/16246-0, 18/16548-9, 18/16214-3, 17/16871-1)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

RODRIGUES, Caroline Mazini. Análise de representatividade de imagens para descrição de eventos. 2020. Dissertação de Mestrado - Universidade Estadual de Campinas (UNICAMP). Instituto de Computação Campinas, SP.