Recuperação de informação semântica em grandes bases de vídeos

• Processo: 16/06441-7
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de agosto de 2016
• Data de Término da vigência: 31 de julho de 2018
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Jurandy Gomes de Almeida Junior
• Beneficiário: Jurandy Gomes de Almeida Junior
• Instituição Sede: Instituto de Ciência e Tecnologia (ICT). Universidade Federal de São Paulo (UNIFESP). Campus São José dos Campos. São José dos Campos , SP, Brasil
• Pesquisadores associados: João Paulo Papa ; Ricardo da Silva Torres
• Assunto(s): Inteligência artificial Visão computacional Recuperação da informação Semântica Multimídia Vídeo
• Palavra(s)-Chave do Pesquisador: computação visual | Inteligência de Máquina | Recuperação de Informação Multimídia | Recuperação semântica | Videos Digitais | Recuperação de Informação Multimídia

Resumo

Devido aos rápidos avanços em tecnologias de aquisição e transmissão de dados, as pessoas são constantemente inundadas por informações na forma de vídeo digital. Nesse cenário, há uma crescente demanda por sistemas eficientes capazes de gerenciar grandes volumes de dados de vídeo e reduzir a carga de trabalho e o excesso de informação ao se buscar um dado conteúdo de interesse. Um dos principais desafios no desenvolvimento de sistemas eficazes de recuperação de vídeos é a identificação automática de conteúdo semântico. Para isso, existem quatro barreiras a serem consideradas: (1) processamento multimodal, (2) fusão de características, (3) aprendizagem semântica e (4) resolução de consultas. Inúmeras técnicas têm sido propostas para atender a tais requisitos. Entretanto, a maioria dos trabalhos existentes envolve algoritmos e métodos computacionalmente custosos. No cenário atual, é imperativo o desenvolvimento de técnicas tanto eficazes quanto eficientes. Nos últimos anos, academia e indústria têm investido esforços significativos a fim de tornar essas soluções compatíveis a uma ampla gama de dispositivos e plataformas. É nesse contexto que o presente projeto de pesquisa se insere. Esta proposta objetiva avançar o estado da arte em recuperação semântica de vídeos digitais. Recentemente, o proponente introduziu na literatura um sistema unimodal de recuperação de vídeos por conteúdo voltado a dispositivos com baixo poder computacional. Baseado nos resultados positivos obtidos em sua aplicação, pretende-se estender tal sistema para tirar vantagem de diferentes fontes de dados, isto é, usar informação multimodal, melhorando a sua qualidade de resposta. Para tanto, tenciona-se explorar soluções recentes em computação visual e inteligência de máquina visando combinar diferentes fontes de dados de maneira eficiente. Por fim, espera-se contribuir sobremaneira com os avanços nessa área de pesquisa, dado que seus resultados serão agrupados em uma interface de desenvolvimento visual que possibilitará a atuação dessas soluções em conjunto. (AU)

Publicações científicas

(20)

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

VALEM, LUCAS PASCOTTI; GUIMARAES PEDRONETTE, DANIEL CARLOS; ALMEIDA, JURANDY. Unsupervised similarity learning through Cartesian product of ranking references. PATTERN RECOGNITION LETTERS, v. 114, n. SI, p. 41-52, OCT 15 2018. (14/04220-8, 17/02091-4, 16/06441-7, 13/08645-0)

ALBERTON, BRUNA; TORRES, RICARDO DA S.; CANCIAN, LEONARDO F.; BORGES, BRUNO D.; ALMEIDA, JURANDY; MARIANO, GREICE C.; DOS SANTOS, JEFERSSON; CERDEIRA MORELLATOA, LEONOR PATRICIA. Introducing digital cameras to monitor plant phenology in the tropics: applications for conservation. PERSPECTIVES IN ECOLOGY AND CONSERVATION, v. 15, n. 2, p. 82-90, APR-JUN 2017. (14/13354-8, 16/01413-5, 10/51307-0, 14/00215-0, 10/52113-5, 13/50155-0, 07/59779-6, 07/52015-0, 16/06441-7, 09/18438-7, 11/51523-8)

GUIMARAES PEDRONETTE, DANIEL CARLOS; VALEM, LUCAS PASCOTTI; ALMEIDA, JURANDY; TONES, RICARDO DA S.. Multimedia Retrieval Through Unsupervised Hypergraph-Based Manifold Ranking. IEEE Transactions on Image Processing, v. 28, n. 12, p. 5824-5838, DEC 2019. (14/50715-9, 16/50250-1, 17/25908-6, 17/20945-0, 14/12236-1, 16/06441-7, 18/15597-6, 13/50155-0, 17/02091-4, 15/24494-8)

GONCALVES DOS SANTOS, CLAUDIO FILIPI; MOREIRA, THIERRY PINHEIRO; COLOMBO, DANILO; PAPA, JOAO PAULO; NYSTROM, I; HEREDIA, YH; NUNEZ, VM. Does Pooling Really Matter? An Evaluation on Gait Recognition. PROGRESS IN PATTERN RECOGNITION, IMAGE ANALYSIS, COMPUTER VISION, AND APPLICATIONS (CIARP 2019), v. 11896, p. 10-pg., 2019-01-01. (16/06441-7, 17/25908-6, 14/12236-1, 13/07375-0)

KUNCHEVA, LUDMILA I.; YOUSEFI, PARIA; ALMEIDA, JURANDY; IEEE. Comparing Keyframe Summaries of Egocentric Videos: Closest-to-Centroid Baseline. PROCEEDINGS OF THE 2017 SEVENTH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING THEORY, TOOLS AND APPLICATIONS (IPTA 2017), v. N/A, p. 6-pg., 2017-01-01. (16/06441-7)

SUGI AFONSO, LUIS CLAUDIO; PASSOS, LEANDRO, JR.; PAPA, JOAO PAULO; IEEE. Enhancing Brain Storm Optimization Through Optimum-Path Forest. 2018 IEEE 12TH INTERNATIONAL SYMPOSIUM ON APPLIED COMPUTATIONAL INTELLIGENCE AND INFORMATICS (SACI), v. N/A, p. 6-pg., 2018-01-01. (13/07375-0, 14/12236-1, 14/16250-9, 16/06441-7)

VALEM, LUCAS PASCOTTI; GUIMARAES PEDRONETTE, DANIEL CARLOS; ALMEIDA, JURANDY. Unsupervised similarity learning through Cartesian product of ranking references. PATTERN RECOGNITION LETTERS, v. 114, p. 12-pg., 2018-10-15. (16/06441-7, 14/04220-8, 13/08645-0, 17/02091-4)

DUARTE, LEONARDO A.; PENATTI, OTAVIO A. B.; ALMEIDA, JURANDY; IEEE. Bag of Genres for Video Retrieval. 2016 29TH SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI), v. N/A, p. 8-pg., 2016-01-01. (16/06441-7)

PASSOS, LEANDRO APARECIDO; RODRIGUES, DOUGLAS; PAPA, JOAO PAULO; IEEE. Quaternion-Based Backtracking Search Optimization Algorithm. 2019 IEEE CONGRESS ON EVOLUTIONARY COMPUTATION (CEC), v. N/A, p. 8-pg., 2019-01-01. (14/16250-9, 13/07375-0, 14/12236-1, 16/06441-7)

BARRETO, THIAGO L. M.; ROSA, RAFAEL A. S.; WIMMER, CHRISTIAN; MOREIRA, JOAO R.; BINS, LEONARDO S.; MENOCCI CAPPABIANCO, FABIO AUGUSTO; ALMEIDA, JURANDY. Classification of Detected Changes From Multitemporal High-Res Xband SAR Images: Intensity and Texture Descriptors From SuperPixels. IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, v. 9, n. 12, p. 13-pg., 2016-12-01. (16/06441-7)

ALMEIDA, JURANDY; PEDRONETTE, DANIEL C. G.; ALBERTON, BRUNA C.; MORELLATO, LEONOR PATRICIA C.; TORRES, RICARDO DA S.. Unsupervised Distance Learning for Plant Species Identification. IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, v. 9, n. 12, p. 14-pg., 2016-12-01. (13/50169-1, 13/50155-0, 10/52113-5, 14/00215-0, 16/06441-7, 10/51307-0, 13/08645-0, 09/18438-7)

ALMEIDA, JURANDY; PEDRONETTE, DANIEL C. G.; ALBERTON, BRUNA C.; MORELLATO, LEONOR PATRICIA C.; TORRES, RICARDO DA S.. Unsupervised Distance Learning for Plant Species Identification. IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, v. 9, n. 12, 1, SI, p. 5325-5338, DEC 2016. (13/50169-1, 09/18438-7, 10/52113-5, 16/06441-7, 10/51307-0, 13/08645-0, 14/00215-0, 13/50155-0)

BARRETO, THIAGO L. M.; ROSA, RAFAEL A. S.; WIMMER, CHRISTIAN; MOREIRA, JOAO R.; BINS, LEONARDO S.; MENOCCI CAPPABIANCO, FABIO AUGUSTO; ALMEIDA, JURANDY. Classification of Detected Changes From Multitemporal High-Res Xband SAR Images: Intensity and Texture Descriptors From SuperPixels. IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, v. 9, n. 12, 1, SI, p. 5436-5448, DEC 2016. (16/06441-7)

DUARTE, LEONARDO A.; PENATTI, OTAVIO A. B.; ALMEIDA, JURANDY; IEEE. Bag of Attributes for Video Event Retrieval. PROCEEDINGS 2018 31ST SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES (SIBGRAPI), v. N/A, p. 8-pg., 2018-01-01. (16/06441-7)

ALMEIDA, JURANDY; VALEM, LUCAS P.; PEDRONETTE, DANIEL C. G.; BATTIATO, S; GALLO, G; SCHETTINI, R; STANCO, F. A Rank Aggregation Framework for Video Interestingness Prediction. IMAGE ANALYSIS AND PROCESSING,(ICIAP 2017), PT I, v. 10484, p. 12-pg., 2017-01-01. (16/06441-7, 13/08645-0, 17/02091-4)

PASSOS, LEANDRO APARECIDO; SANTANA, MARCOS CLEISON; MOREIRA, THIERRY; PAPA, JOAO PAULO; IEEE. kappa-Entropy Based Restricted Boltzmann Machines. 2019 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), v. N/A, p. 8-pg., 2019-01-01. (13/07375-0, 14/12236-1, 16/06441-7)

BARRETO, THIAGO L. M.; ROSA, RAFAEL A. S.; WIMMER, CHRISTIAN; MOREIRA, JOAO R.; BINS, LEONARDO S.; ALMEIDA, JURANDY; CAPPABIANCO, FABIO A. M.; IEEE. BMINSAR: A NOVEL APPROACH FOR INSAR PHASE DENOISING BY CLUSTERING AND BLOCK MATCHING. 2017 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS), v. N/A, p. 4-pg., 2017-01-01. (16/06441-7)

VALEM, LUCAS PASCOTTI; DE OLIVEIRA, CARLOS RENAN; GUIMARAES PEDRONETTE, DANIEL CARLOS; ALMEIDA, JURANDY. Unsupervised Similarity Learning through Rank Correlation and kNN Sets. ACM Transactions on Multimedia Computing Communications and Applications, v. 14, n. 4, NOV 2018. (17/25908-6, 17/02091-4, 16/06441-7, 13/08645-0)

KUNCHEVA, LUDMILA I.; YOUSEFI, PARIA; ALMEIDA, JURANDY. Edited nearest neighbour for selecting keyframe summaries of egocentric videos. JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION, v. 52, p. 118-130, APR 2018. (16/06441-7)

BALDASSIN, ALEXANDRO; WENG, YING; GUIMARAES PEDRONETTE, DANIEL CARLOS; ALMEIDA, JURANDY. An optimized unsupervised manifold learning algorithm for manycore architectures. INFORMATION SCIENCES, v. 496, p. 410-430, SEP 2019. (16/06441-7, 13/08645-0)