Busca avançada
Ano de início
Entree

Aprendizado de representações ricas em contexto para visão computacional

Processo: 22/15304-4
Modalidade de apoio:Auxílio à Pesquisa - Temático
Data de Início da vigência: 01 de novembro de 2023
Data de Término da vigência: 31 de outubro de 2028
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
Pesquisador responsável:Nina Sumiko Tomita Hirata
Beneficiário:Nina Sumiko Tomita Hirata
Instituição Sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
Pesquisadores principais:
Luciano da Fontoura Costa ; Roberto Hirata Junior ; Roberto Marcondes Cesar Junior
Pesquisadores associados:Claudia Lucia Mendes de Oliveira ; Fabio Miranda ; Henrique Morimitsu ; Hugo Neves de Oliveira ; Isabelle Bloch ; Jose Claudio Teixeira e Silva Junior ; Márcia de Almeida Rizzutto ; Rafael Jeferson Pezzuto Damaceno ; Xiaoyi Jiang ; Zhangyang Wang
Bolsa(s) vinculada(s):25/00043-9 - Análise da Atribuição de Significado Durante o Processo de Embedding em Modelos de Visão Computacional e Linguagem Natural Aplicados ao Meio Urbano, BP.IC
24/23406-7 - Integração em redes neurais convolucionais de características manualmente extraídas de imagens, BP.IC
24/17415-3 - Análise multissensor para a avaliação de infraestrutura e ambiente urbano, BP.PD
+ mais bolsas vinculadas 24/19866-2 - Detecção de objetos astronômicos em imagens multi-banda, BP.IC
24/17777-2 - Técnicas e Engenharia de Aprendizado de Máquina - 1, BP.TT
24/16942-0 - Segmentação de imagens de retina, BP.IC
24/10882-5 - Segmentação e análise de calçadas, BP.PD
24/04381-3 - Engenharia de Aprendizado de Máquina em situações com otimização ou de restrições de hardware - 1, BP.TT
23/17610-8 - Técnicas de aprendizado de máquina aplicadas a inversão da forma de onda para estimativa de porosidade em reservatórios de hidrocarbonetos, BP.DR
23/11498-1 - Deep learning aplicado ao reconhecimento facial, BP.IC - menos bolsas vinculadas
Assunto(s):Aprendizado computacional  Aprendizagem profunda  Visão computacional  Coleta de dados  Computação ciente de contexto 
Palavra(s)-Chave do Pesquisador:Aprendizado de Máquina | Context aware representation | Deep Learning | Hardware aware representation | Visão Computacional | Visão Computacional

Resumo

Métodos de Visão Computacional são empregados para extração de informações de imagens e vídeos, mas nem sempre os elementos contextuais presentes neles são suficientes para a extração de informações corretas e precisas. Nesses casos, conteúdos de outras fontes e modalidades de dados, como áudio e texto, ou ainda outras informações externas aos dados, como conhecimentos a priori, podem ser utilizados para complementar e enriquecer o contexto da informação de interesse. Adicionalmente, o contexto de aplicação pode impor restrições diversas tais como limitações de hardware, necessidade de garantia de privacidade, entre outros. Portanto, métodos de Visão Computacional modernos precisam ser capazes de integrar automaticamente os elementos contextuais da informação de interesse e também aqueles relacionados à aplicação em questão. O objetivo deste projeto é o desenvolvimento de modelos e métodos de visão computacional que sejam capazes de gerar representações ricas em contexto. O projeto será organizado em três eixos principais integrados: (i) Uso ótimo de dados não-supervisionados; (ii) Alinhamento de domínios multi-modais; (iii) Propriedades de representações. De especial interesse são aplicações de visão computacional envolvendo dispositivos de borda (edge computing) e dispositivos móveis (como smartphones e mini-computadores). Para desenvolver, testar e validar os métodos, pretendemos construir um setup experimental consistindo de múltiplas câmeras e sensores que permitirão a construção de conjuntos de dados supervisionados a serem explorados pelo grupo. (AU)

Matéria(s) publicada(s) na Agência FAPESP sobre o auxílio:
Mais itensMenos itens
Matéria(s) publicada(s) em Outras Mídias ( ):
Mais itensMenos itens
VEICULO: TITULO (DATA)
VEICULO: TITULO (DATA)

Publicações científicas (9)
(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)
NAKAZONO, L.; VALENCA, R. R.; SOARES, G.; IZBICKI, R.; IVEZIC, Z.; R LIMA, E., V; HIRATA, N. S. T.; SODRE JR, L.; OVERZIER, R.; ALMEIDA-FERNANDES, F.; et al. The Quasar Catalogue for S-PLUS DR4 (QuCatS) and the estimation of photometric redshifts. Monthly Notices of the Royal Astronomical Society, v. 531, n. 1, p. 13-pg., . (19/26492-3, 23/07068-1, 21/12744-0, 21/08983-0, 18/20977-2, 19/11321-9, 11/51680-6, 21/09468-1, 23/05003-0, 19/01312-2, 15/22308-2, 22/15304-4)
CASAGRANDE, LUAN; HIRATA, R., JR.. RIPARIAN ZONES CLASSIFICATION USING SATELLITE/UAV SYNERGY AND DEEP LEARNING. IGARSS 2024-2024 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM, IGARSS 2024, v. N/A, p. 5-pg., . (22/15304-4)
MORIMITSU, HENRIQUE; ZHU, XIAOBIN; CESAR-JR, ROBERTO M.; JI, XIANGYANG; YIN, XU-CHENG. RAPIDFlow: Recurrent Adaptable Pyramids with Iterative Decoding for Efficient Optical Flow Estimation. 2024 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, ICRA 2024, v. N/A, p. 7-pg., . (15/22308-2, 22/15304-4)
PERIN, GABRIEL J.; HIRATA, NINA S. T.. Few-shot Retinal Disease Classification on the Brazilian Multilabel Ophtalmological Dataset. 2024 37TH SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES, SIBGRAPI 2024, v. N/A, p. 6-pg., . (23/15047-4, 22/11645-1, 22/15304-4)
PEZZUTO DAMACENO, RAFAEL J.; CESAR, ROBERTO M., JR.. An End-to-End Deep Learning Approach for Video Captioning Through Mobile Devices. PROGRESS IN PATTERN RECOGNITION, IMAGE ANALYSIS, COMPUTER VISION, AND APPLICATIONS, CIARP 2023, PT I, v. 14469, p. 15-pg., . (15/22308-2, 22/15304-4, 22/12204-9)
BENATTI, ALEXANDRE; DE ARRUDA, HENRIQUE FERRAZ; COSTA, LUCIANO DA FONTOURA. Interrelating neuronal morphology by coincidence similarity networks. Journal of Theoretical Biology, v. 606, p. 11-pg., . (15/22308-2, 18/10489-0, 22/15304-4)
PERIN, GABRIEL J.; CHEN, XUXI; LIU, SHUSEN; KAILKHURA, BHAVYA; WANG, ZHANGYANG; GALLAGHER, BRIAN. RankMean: Module-Level Importance Score for Merging Fine-tuned Large Language Models. FINDINGS OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS: ACL 2024, v. N/A, p. 7-pg., . (23/15047-4, 22/11645-1, 22/15304-4)
BENATTI, ALEXANDRE; COSTA, LUCIANO DA F.. On the transient and equilibrium features of growing fractal complex networks. CHAOS SOLITONS & FRACTALS, v. 183, p. 7-pg., . (15/22308-2, 22/15304-4)
OLIVEIRA, HUGO; GAMA, PEDRO H. T.; BLOCH, ISABELLE; CESAR JR, ROBERTO MARCONDES. Meta-learners for few-shot weakly-supervised medical image segmentation. PATTERN RECOGNITION, v. 153, p. 13-pg., . (20/06744-5, 15/22308-2, 22/15304-4, 17/50236-1)