Aprendizado de características espaço-temporais e zero-shot learning utilizando fatoração de tensores

• Processo: 17/00728-5
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Doutorado
• Data de Início da vigência: 04 de abril de 2017
• Data de Término da vigência: 30 de março de 2018
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Moacir Antonelli Ponti
• Beneficiário: Gabriel de Barros Paranhos da Costa
• Supervisor: Timothy M. Hospedales
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Instituição Anfitriã: University of Edinburgh, Escócia
• Vinculado à bolsa: 15/05310-3 - Aprendizado de características espaço-temporais em vídeos, BP.DR
• Assunto(s): Aprendizado computacional Aprendizagem profunda
• Palavra(s)-Chave do Pesquisador: Aprendizado de características espaço-temporais | Deep Learning | Fatoração de tensores | processamento de vídeos | Zero-shot learning | Aprendizado de máquina

Resumo

Aprendizado de características tem apresentado resultados promissores quando usado para extrair características relevantes de diferentes bases de dados de imagens e vídeos. Isso foi observado mesmo quando o modelo de representação não foi treinado utilizando a base de dados em questão, ou até mesmo quando o modelo foi treinado para realizar outra tarefa. Zero-shot learning busca permitir que classificadores considerem classes previamente não observadas através da inclusão de representações semânticas. Ao combinar características semânticas e visuais, é possível criar representações genéricas que podem ser usadas para classificar novas amostras em classes que não contenham exemplos no conjunto de treinamento. Isso pode ser feito utilizando fatoração de tensores, que busca reduzir o número de parâmetros necessários enquanto informações entre diferentes tarefas e domínios são compartilhadas. Durante o estágio de pesquisa no exterior, pretende-se utilizar tuplas como descritores semânticos que serão codificados para o mesmo espaço de parâmetros que os descritores visuais extraídos de vídeos. Dessa forma, é possível recuperar vídeos, utilizando uma abordagem "vizinho mais próximo", quando uma tupla é dada. O estágio ocorrerá na Universidade de Edimburgo sob supervisão do Prof. Timothy Hospedales.