Transferência de dinâmica de vídeo para vídeo com modelos generativos profundos

Resumo

Geração automática de conteúdo é uma área que teve um grande impulso nos últimos anos, graças ao advento dos modelos generativos profundos. Atualmente, redes neurais podem criar textos, imagens e vídeos baseando-se em rótulos de classes ou outro tipo de conteúdo. A maior parte da pesquisa nessa área está focalizada em edição semântica de imagens (e.g., transferência de estilo artístico ou transfiguração de objetos) e predição de vídeo. No domínio dos vídeos, em particular, existem relativamente poucas pesquisas visando propósitos diferentes da geração de fotogramas futuros dada uma determinada sequência. Portanto, nesta proposta pretendemos explorar a área de geração de vídeo ao estender ideias existentes na literatura para a transferência da dinâmica, um cenário pouco explorado com um grande potencial de aplicações inéditas. Visamos realizar a atividade de geração de vídeo, transferindo a dinâmica dos elementos de um vídeo para objetos contidos numa outra sequência. A nossa abordagem proposta consiste em treinar uma arquitetura em forma de autoencoder que projete os vídeos em um hyper-espaço latente que separe a aparência da dinâmica dos objetos nele, e permita a reconstrução de novos vídeos. Para levar a cabo a transferência, a aparência de um objeto em um vídeo A é usada junto com a dinâmica de um objeto em um vídeo B (extraído do codificador) como entrada do decodificador para gerar o vídeo resultante. Vamos usar uma abordagem de treino cruzado para aprender espaços robustos que representem a dinâmica. O desafio encarado é a falta de autoencoders robustos para dados de vídeo, uma vez que os modelos generativos atuais ainda não conseguem um movimento completamente natural nos vídeos. Deste modo, para nossa pesquisa é preciso construir autoencoders robustos para geração de vídeos que resolvam o problema da consistência de movimento entre fotogramas consecutivos. (AU)