Learning visual clues of the passage of time

Autor(es)

Rafael Soares Padilha

• Tipo de documento: Tese de Doutorado
• Imprenta: Campinas, SP.
• Instituição: Universidade Estadual de Campinas (UNICAMP). Instituto de Computação
• Data de defesa: 2022-07-29

Membros da banca

Anderson de Rezende Rocha; Marjory Cristiany da Costa Abreu; Cristina Nader Vasconcelos; Agma Juci Machado Traina

• Orientador: Anderson de Rezende Rocha; Fernanda Alcântara Andaló

Resumo

O Tempo sempre foi um conceito físico misterioso e evasivo de se compreender e modelar formalmente. Quando tiramos uma fotografia, estamos imprimindo visualmente o contexto temporal de um momento no tempo. Da iluminação e das cores de uma cena, até a forma como nos vestimos e a aparência do mundo ao nosso redor; todos esses elementos carregam algum grau de informação temporal. Nesta tese, nós investigamos como podemos perceber visualmente a passagem do tempo e, principalmente, como isto pode ser utilizado para extrair conhecimento temporal útil para problemas forenses. Para melhor compreender estes conceitos, nós investigamos duas tarefas de inferência temporal: detecção de manipulações em metadados temporais e ordenação cronológica de imagens. No primeiro problema, propomos uma rede neural profunda que combina informações visuais, temporais e geográficas para verificar a timestamp de uma foto. Na segunda tarefa, combinamos diversos classificadores binários com o conhecimento de um especialista forense para ordenar no tempo imagens oriundas de eventos forenses. Nós avaliamos os nossos métodos em dados reais vindos de redes sociais, realizando diversos experimentos para entender quando nossas técnicas funcionam e falham. Com o pano de fundo de aplicações no cenário forense, temos como objetivo métodos acurados, mas que também sejam transparentes e interpretáveis. Por esse motivo, consideramos a explicabilidade das técnicas propostas, investigando quais são os elementos determinantes para uma decisão algorítmica. As descobertas deste trabalho destacam a importância de se combinar múltiplas modalidades de dados (por exemplo, visual, geográfica, e aquelas que refletem a aparência de uma cena), aumentar artificialmente a variabilidade de dados com técnicas de aumentação e, principalmente, incorporar os conhecimentos de um especialista forense por todo o processo de desenvolvimento e análise de métodos forenses (AU)

• Processo FAPESP: 17/21957-2 - Encontrando Evidências Visuais da Passagem do Tempo
• Beneficiário: Rafael Soares Padilha
• Modalidade de apoio: Bolsas no Brasil - Doutorado