Encontrando Evidências Visuais da Passagem do Tempo

Resumo

A medida que dispositivos móveis se tornaram ubíquos nos dias de hoje, pessoas passaram a registrar e compartilhar momentos de suas vidas em redes sociais. Todo tipo de evento, de concertos musicais a incêndios em prédios históricos, gera uma quantidade massiva de dados, capturando diferentes pontos de vista e momentos no tempo. Para compreender o desenrolar de um acontecimento, é essencial organizar as mídias disponíveis no tempo e reconstruir a ordem dos fatos. Entretanto, os dados produzidos em eventos reais nem sempre possuem anotações confiáveis da hora de captura, prejudicando reconstruções manuais dessa linha do tempo.Neste estágio de pesquisa no exterior, propomos métodos para ordenar automaticamente no tempo imagens e vídeos através do seu conteúdo visual. Para isso, nós treinaremos um modelo geral (independente do evento em questão) que aprende diretamente dos dados uma representação que enfatiza a passagem do tempo. Esta representação será utilizada como entrada para um modelo que infere a ordem cronológica de um par de imagens. Com isso, considerando relações entre pares de imagens, nós iremos reconstruir a linha do tempo do evento. Os métodos propostos serão treinados em diferentes cenários que considerem diversos níveis de anotação dos dados em relação à hora de captura, e serão avaliados com dados obtidos de eventos reais.