Segmentação interativa de objetos em vídeo digital usando grafos e modelos nebulosos de conhecimento de conteúdo

• Processo: 11/01434-9
• Modalidade de apoio: Bolsas no Brasil - Doutorado Direto
• Data de Início da vigência: 01 de junho de 2011
• Data de Término da vigência: 31 de agosto de 2015
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Alexandre Xavier Falcão
• Beneficiário: Thiago Vallin Spina
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Assunto(s): Análise de imagens Processamento de imagens
• Palavra(s)-Chave do Pesquisador: Análise de imagens | Modelos nebulosos de conhecimento de conteúdo | Processamento de imagens | Segmentação de objetos em vídeos | Transformada Imagem-Floresta | Processamento e Análise de Imagens

Resumo

Um dos desafios de expressar o conteúdo de um vídeo se apresenta na forma de segmentar precisamente seus objetos semânticos (e.g., pessoas, objetos, animais). Soluções automáticas para este problema são frequentemente inviáveis devido à grande heterogeneidade de cenas naturais. Logo, a segmentação é mais factível combinando o conhecimento de alto nível do usuário sobre o objeto de interesse com a capacidade de delineamento preciso da máquina. Portanto, passa a ser necessário maximizar a eficácia da interação do usuário com o sistema, através da minimização da necessidade de sua intervenção na tarefa de segmentação provendo ao mesmo tempo controle total sobre o processo. Propomos abordar tais questões através do estudo e desenvolvimento de modelos dinâmicos de conhecimento de conteúdo que substituam o usuário em tarefas de reconhecimento do objeto no restante do vídeo, após a segmentação interativa do objeto em um quadro inicial. Mais precisamente, estamos interessados em criar modelos nebulosos (fuzzy), tanto 2D como 3D, que explorem o conhecimento adquirido com a segmentação em quadros anteriores para executar a segmentação do quadro atual. Um candidato ideal para esta atividade é o modelo das nuvens (Object Cloud Model --- OCM), que trata reconhecimento e delineamento de forma sinérgica. Este modelo define, para cada posição no quadro, uma região de incerteza onde a borda do objeto deve estar localizada, enquanto o delineamento é feito utilizando a transformada imagem-floresta (Image Foresting Transform --- IFT) --- uma metodologia para o desenvolvimento de operadores de processamento de imagens baseados em conexidade (grafos). O grande desafio é descobrir maneiras de criar OCMs em vídeo digital, visto que tais modelos necessitam de um conjunto de imagens de treinamento composto por segmentações do objeto em diferentes poses, e como atualizá-los dinamicamente ao longo do vídeo. Mais ainda, queremos tratar problemas como auto-oclusões e objetos que giram em torno de si próprios (e.g., bailarinas e dançarinos) encontrando a projeção bidimensional de uma nuvem 3D --- elaborada a partir de modelos genéricos tridimensionais do objeto --- que melhor segmente o objeto em um quadro do vídeo. Por fim, o framework de segmentação a ser desenvolvido será validado no contexto de edição de vídeo (i.e., composição por alpha matting). (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

MINGIREANOV FILHO, IVAN; SPINA, THIAGO VALLIN; FALCAO, ALEXANDRE XAVIER; VIDAL, ALEXANDRE CAMPANE. Segmentation of sandstone thin section images with separation of touching grains using optimum path forest operators. Computers & Geosciences, v. 57, p. 146-157, AUG 2013. (07/52015-0, 11/01434-9)

MIRANDA, PAULO A. V.; FALCAO, ALEXANDRE XAVIER; SPINA, THIAGO V.. Riverbed: A Novel User-Steered Image Segmentation Method Based on Optimum Boundary Tracking. IEEE Transactions on Image Processing, v. 21, n. 6, p. 3042-3052, JUN 2012. (09/11908-8, 07/52015-0, 11/01434-9, 09/16428-4)

HASHEMI, JORDAN; SPINA, THIAGO VALLIN; TEPPER, MARIANO; ESLER, AMY; MORELLAS, VASSILIOS; PAPANIKOLOPOULOS, NIKOLAOS; SAPIRO, GUILLERMO; IEEE. A computer vision approach for the assessment of autism-related behavioral markers. 2012 IEEE INTERNATIONAL CONFERENCE ON DEVELOPMENT AND LEARNING AND EPIGENETIC ROBOTICS (ICDL), v. N/A, p. 7-pg., 2012-01-01. (11/01434-9)

Publicações acadêmicas

(Referências obtidas automaticamente das Instituições de Ensino e Pesquisa do Estado de São Paulo)

SPINA, Thiago Vallin. Interactive segmentation of objects in images and videos using graphs and fuzzy models of content knowledge. 2015. Tese de Doutorado - Universidade Estadual de Campinas (UNICAMP). Instituto de Computação Campinas, SP.