Aproveitando o comportamento de convergência para equilibrar tarefas conflitantes no aprendizado de múltiplas tarefas

Autor(es)

Angelica Tiemi Mizuno Nakamura

• Tipo de documento: Tese de Doutorado
• Imprenta: São Carlos.
• Instituição: Universidade de São Paulo (USP). Instituto de Ciências Matemáticas e de Computação (ICMC/SB)
• Data de defesa: 2022-12-08

Membros da banca

Denis Fernando Wolf; Erickson Rangel do Nascimento; Moacir Antonelli Ponti; Raquel Frizera Vassallo

• Orientador: Denis Fernando Wolf

Resumo

O aprendizado de múltiplas tarefas é um paradigma de aprendizagem que utiliza tarefas correlacionadas para melhorar a generalização. Uma maneira comum de aprender várias tarefas é por meio da abordagem com parâmetros compartilhados, na qual uma única arquitetura é usada para compartilhar o mesmo subconjunto de parâmetros, criando um viés indutivo entre eles durante o processo de treinamento. Devido à sua simplicidade, pontencial em melhorar a generalização e reduzir o custo computacional, o aprendizado de múltiplas tarefas ganhou a atenção das comunidades científica e indústria. Na literatura, o aprendizado simultâneo de múltiplas tarefas é normalmente realizado por uma combinação linear de funções de perda. No entanto, os gradientes das tarefas frequentemente conflitam entre si durante a otimização das funções de perdas. E, combinar os gradientes de todas as tarefas para que todas convirjam para sua solução ótima ao longo do processo de treinamento não é trivial. Para resolver este problema, é utilizado a ideia de otimização multi-objetivo para propor um método que leva em conta o comportamento temporal dos gradientes para criar um viés dinâmico que ajusta a importância de cada tarefa durante a retropropagação. Dessa forma, o método dá mais atenção para as tarefas que estão divergindo ou não sendo beneficiadas nas últimas iterações, garantindo que o aprendizado simultâneo alcance a maximização do desempenho de todas as tarefas. Para validar o método proposto, foram realizados análise de sensibilidade e diversos experimentos no conjunto de dados público de classificação de dígitos, e no problema de compreensão de cena no conjunto de dados do CityScapes. Por meio dos experimentos realizados, o método proposto mostrou superar o desempenho dos métodos estado da arte na aprendizagem de tarefas conflitantes, garantindo que todas as tarefas alcancem bons desempenhos de generalização ao mesmo tempo em que acelera a convergência das curvas de aprendizado. (AU)

• Processo FAPESP: 19/03366-2 - Segmentação espacial de instâncias a partir de câmera monocular utilizando redes neurais convolutivas
• Beneficiário: Angelica Tiemi Mizuno Nakamura
• Modalidade de apoio: Bolsas no Brasil - Doutorado