Segmentação interativa de objetos em vídeo digital usando grafos e modelos nebulosos de conhecimento de conteúdo

Resumo

Um dos desafios de expressar o conteúdo de um vídeo se apresenta na forma de segmentar precisamente seus objetos semânticos (e.g., pessoas, objetos, animais). Soluções automáticas para este problema são frequentemente inviáveis devido à grande heterogeneidade de cenas naturais. Logo, a segmentação é mais factível combinando o conhecimento de alto nível do usuário sobre o objeto de interesse com a capacidade de delineamento preciso da máquina. Portanto, passa a ser necessário maximizar a eficácia da interação do usuário com o sistema, através da minimização da necessidade de sua intervenção na tarefa de segmentação provendo ao mesmo tempo controle total sobre o processo. Propomos abordar tais questões através do estudo e desenvolvimento de modelos dinâmicos de conhecimento de conteúdo que substituam o usuário em tarefas de reconhecimento do objeto no restante do vídeo, após a segmentação interativa do objeto em um quadro inicial. Mais precisamente, estamos interessados em criar modelos nebulosos (fuzzy), tanto 2D como 3D, que explorem o conhecimento adquirido com a segmentação em quadros anteriores para executar a segmentação do quadro atual. Um candidato ideal para esta atividade é o modelo das nuvens (Object Cloud Model --- OCM), que trata reconhecimento e delineamento de forma sinérgica. Este modelo define, para cada posição no quadro, uma região de incerteza onde a borda do objeto deve estar localizada, enquanto o delineamento é feito utilizando a transformada imagem-floresta (Image Foresting Transform --- IFT) --- uma metodologia para o desenvolvimento de operadores de processamento de imagens baseados em conexidade (grafos). O grande desafio é descobrir maneiras de criar OCMs em vídeo digital, visto que tais modelos necessitam de um conjunto de imagens de treinamento composto por segmentações do objeto em diferentes poses, e como atualizá-los dinamicamente ao longo do vídeo. Mais ainda, queremos tratar problemas como auto-oclusões e objetos que giram em torno de si próprios (e.g., bailarinas e dançarinos) encontrando a projeção bidimensional de uma nuvem 3D --- elaborada a partir de modelos genéricos tridimensionais do objeto --- que melhor segmente o objeto em um quadro do vídeo. Por fim, o framework de segmentação a ser desenvolvido será validado no contexto de edição de vídeo (i.e., composição por alpha matting). (AU)