Encontrando Evidências Visuais da Passagem do Tempo

Resumo

Nos dias de hoje, qualquer acontecimento --- de eventos sociais a atentados terroristas --- é gravado por múltiplas câmeras e instantaneamente salvo na internet. Apesar de diversas dessas imagens possuírem o registro do horário da captura em seus meta-dados, essa informação nem sempre é correta --- devido a alterações ou erros --- nem confiável para se inferir qualquer relação temporal e reconstruir a ordem dos acontecimentos. Mesmo assim, em uma investigação, é indispensável minerar conhecimento temporal para possibilitar a compreensão completa e do evento em questão, bem como checar a veracidade dos fatos e organizar o fluxo de informações relativo àquele incidente. Fora do campo forense, informação temporal ajuda pesquisadores a explicar como as interações humanas moldam o ambiente e como elas se alteram com o tempo; além de ajudá-los a entender o desenvolvimento de eventos naturais ou humanos, como a passagem de um furacão, um conflito militar ou a evolução das cidades através dos anos. Compreensão temporal também é uma ferramenta útil para entender como tendências, comportamentos e gostos da sociedade evoluíram, por exemplo, na moda ou arquitetura.Apesar do tempo seguir apenas uma direção, sua passagem é percebida de diversas formas. As evidências visuais usadas para identificar o fluxo do tempo entre dois momentos de uma cena são dependentes de sua semântica, dos elementos presentes nela e da quantidade de tempo que se passou entre estes momentos. As dicas mais comuns são elementos dinâmicos (objetos e pessoas se movendo), diferenças em iluminação e sombras causadas pelo movimento do sol, a presença ou ausência de fatores climáticos (como chuva), variações causadas pelas estações do ano (por exemplo, árvores perdendo as folhas no Outono), e sinais de intervenção humana (como a construção de um prédio). Nessa linha, o objetivo deste trabalho é propor técnicas capazes de raciocinar sobre o tempo usando informação visual presente em imagens e vídeos. Mais especificamente, nós iremos propor métodos capazes de inferir a ordem cronológica de um conjunto de mídias com um mesmo contexto semântico.Dividimos esse problema em tarefas menores, relacionadas com o intervalo de tempo compreendido pelo conjunto de mídias analisado. Ao inferir a ordem temporal, a importância de uma evidência visual em particular é dependente da quantidade de tempo que se passou entre cada captura. Levando isso em consideração, iremos investigar como modelar tais evidências e também como ponderá-las durante a inferência. Considerando diferentes intervalos de tempo e evidências, serão exploradas técnicas tradicionais de engenharia de características (desenvolvidas utilizando conhecimento do domínio para capturar algum aspecto particular da imagem) bem como métodos de aprendizado orientado pelos dados (nos quais as características mais relevantes para o problema são aprendidas diretamente em cima dos pixels).Também investigaremos como o volume de conhecimento prévio sobre um contexto --- isto é, a quantidade de exemplos de treinamento ilustrando um único contexto --- afeta a predição temporal. Nós exploraremos se uma predição mais precisa pode ser alcançada com uma solução especializada em um contexto em particular ou se um método treinado com experiência de múltiplos contextos obtém melhores resultados.Essa proposta de pesquisa faz parte do projeto temático "DéjàVu: Coerência Temporal, Espacial e de Caracterização de Dados Heterogêneos para Análise e Interpretação de Integridade", que busca organizar, sincronizar e extrair informação de múltiplas fontes de mídia para melhor entender o que aconteceu antes, durante e logo após um evento. Nossa proposta se encaixa diretamente no projeto, com o objetivo de organizar cronologicamente as imagens disponíveis para melhor compreender a ordem dos acontecimentos. Além disso, também iremos minerar informação temporal que outras técnicas dentro do projeto DéjàVu podem utilizar dentro de seus pipelines.