Beyond the known: Enhancing Open Set Domain Adaptation with unknown exploration

Autor(es)

Alvarenga e Silva, Lucas Fernando ; dos Santos, Samuel Felipe ; Sebe, Nicu ; Almeida, Jurandy

• Tipo de documento: Artigo Científico
• Fonte: PATTERN RECOGNITION LETTERS; v. 189, p. 8-pg., 2025-02-28.

Resumo

Convolutional neural networks (CNNs) can learn directly from raw data, resulting in exceptional performance across various research areas. However, factors present in non-controllable environments such as unlabeled datasets with varying levels of domain and category shift can reduce model accuracy. The Open Set Domain Adaptation (OSDA) is a challenging problem that arises when both of these issues occur together. Existing OSDA approaches in literature only align known classes or use supervised training to learn unknown classes as a single new category. In this work, we introduce anew approach to improve OSDA techniques by extracting a set of high-confidence unknown instances and using it as a hard constraint to tighten the classification boundaries. Specifically, we use anew loss constraint that is evaluated in three different ways: (1) using pristine negative instances directly; (2) using data augmentation techniques to create randomly transformed negatives; and (3) with generated synthetic negatives containing adversarial features. We analyze different strategies to improve the discriminator and the training of the Generative Adversarial Network (GAN) used to generate synthetic negatives. We conducted extensive experiments and analysis on OVANet using three widely-used public benchmarks, the Office-31, Office-Home, and VisDA datasets. We were able to achieve similar H-score to other state-of-the-art methods, while increasing the accuracy on unknown categories. (AU)

• Processo FAPESP: 21/13348-1 - Investigação de métodos de adaptação de domínio de conjunto aberto para problemas de visão computacional
• Beneficiário: Lucas Fernando Alvarenga e Silva
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Mestrado
• Processo FAPESP: 13/08293-7 - CECC - Centro de Engenharia e Ciências Computacionais
• Beneficiário: Munir Salomao Skaf
• Modalidade de apoio: Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs
• Processo FAPESP: 20/08770-3 - Métodos de reconhecimento multimídia com uso de redes profundas para conjuntos abertos
• Beneficiário: Lucas Fernando Alvarenga e Silva
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Processo FAPESP: 24/04500-2 - Aprendizado profundo para visão computacional: melhorando a generalização com poucos dados
• Beneficiário: Samuel Felipe dos Santos
• Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
• Processo FAPESP: 23/17577-0 - Compreensão de vídeo por meio de aprendizagem profunda com mínima supervisão humana
• Beneficiário: Jurandy Gomes de Almeida Junior
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Processo FAPESP: 19/17874-0 - EMU concedido no Proc. 2013/08293-7, KAHUNA upgrade - HPE Apollo Gen10 Supercomputer
• Beneficiário: Munir Salomao Skaf
• Modalidade de apoio: Auxílio à Pesquisa - Programa Equipamentos Multiusuários
• Processo FAPESP: 23/03328-9 - Esmiuçando o Aprendizado de Máquina: Aceleradores Eficientes para Redes Profundas e sua Aplicabilidade em Computação Cientifica
• Beneficiário: Lucas Fernando Alvarenga e Silva
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Processo FAPESP: 17/25908-6 - Aprendizado fracamente supervisionado para análise de vídeos no domínio comprimido em tarefas de recuperação e classificação para alertas visuais
• Beneficiário: João Paulo Papa
• Modalidade de apoio: Auxílio à Pesquisa - Parceria para Inovação Tecnológica - PITE