Evaluating and mitigating biases in skin lesion analysis

Autor(es)

Alceu Emanuel Bissoto

• Tipo de documento: Tese de Doutorado
• Imprenta: Campinas, SP.
• Instituição: Universidade Estadual de Campinas (UNICAMP). Instituto de Computação
• Data de defesa: 2024-05-20

Membros da banca

Sandra Eliza Fontes de Avila; Flávia Vasques Bittencourt; André Georghton Cardoso Pacheco; Esther Luna Colombini; Leticia Rittner

• Orientador: Sandra Eliza Fontes de Avila; Eduardo Valle

Resumo

Modelos de aprendizagem profunda estão sendo usados em uma lista crescente de aplicações do mundo real, incluindo diagnóstico automatizado. Como são modelos baseados em dados, eles podem replicar os vieses encontrados nos dados de treinamento. Para imagens médicas, poucos centros contribuem com dados para problemas de dimensões globais, como o câncer de pele. A inevitável mudança de distribuição causada por diferentes populações, procedimentos hospitalares e muitas outras possíveis fontes de vieses pode levar a consequências catastróficas. Esta tese investiga mudanças em conjuntos de dados e modelos de lesões de pele, focando em detecção de câncer de pele, um problema de saúde importante no Brasil. A detecção precoce é crucial para um prognóstico positivo e a detecção automatizada do câncer de pele oferece uma solução promissora, especialmente para pacientes que enfrentam barreiras geográficas ou econômicas. Como o diagnóstico de câncer de pele feito por dermatologistas faz uso do reconhecimento de padrões, essa tarefa se alinha bem com as técnicas de aprendizado de máquina. A análise de lesões de pele é um campo em rápida evolução, beneficiando-se de um volume crescente de dados e de variadas modalidades. No entanto, problemas como falta de generalização e dependência excessiva de correlações espúrias impedem o uso abrangente dessas soluções. Nosso trabalho contribui para vários aspectos deste problema, incluindo anotação de dados, avaliação de vieses e desenviesamento. Inicialmente, anotamos os conjuntos de dados do ISIC 2018 e Derm7pt para indicar a presença de artefatos. Depois, anotamos mais de 10,0000 amostras do ISIC 2019 com a localização de tais artefatos. Essas anotações foram cruciais para avaliar a robustez do modelo e facilitar o desenviesamento. Para avaliação de vieses, introduzimos uma nova abordagem para separar dados de treinamento e teste que permite controlar os níveis de vies nos dados. Este método, chamado "Trap Sets", foi projetado para revelar a dependência de um modelo em correlações espúrias, ajustando os níveis de viés durante o treinamento e apresentando correlações contrárias durante o teste. Os Trap Sets permitem uma avaliação precisa do aprendizado de "atalhos" na análise de lesões de pele, algo normalmente limitado a conjuntos de dados mais simples e controlados. Nossos experimentos com imagens de lesões de pele demonstram que os modelos dependem desses recursos problemáticos, um comportamento que os Trap Sets penalizam severamente. Modelos que costumavam ultrapassar os 90% AUC em uma separação aleatória de treino e teste, agora atingem apenas os 58% AUC nos nossos conjuntos enviesados. Ao abordar a eliminação de vieses, exploramos estratégias de treinamento e de teste. Durante o treinamento, aproveitamos nossas anotações de artefatos para permitir o uso de técnicas de otimização robusta, como o "GroupDRO", para guiar os modelos em direção ao aprendizado de características mais relevantes. Esse procedimento já foi capaz de criar modelos mais robustos, com uma melhora de 10 pontos percentuais (68% AUC). No momento do teste, nos concentramos em identificar e utilizar características clinicamente relevantes para inferência. O "NoiseCrop" modifica as imagens de teste apagando seu plano de fundo. Enquanto isso, o "Test-time Selection (TTS)" adiciona a participação de um humano para identificar pontos de interesse positivos e negativos, posteriormente apagando as características que não concordam com a anotação humana. Ambas as técnicas aumentaram consideravelmente a robustez de nossos modelos em relação a artefatos, atingindo desempenhos de 72% e 75% AUC, respectivamente. Essas estratégias de avaliação e eliminação de vieses, que se mostraram eficazes em nossos experimentos, podem abrir caminho para diagnósticos de lesões de pele mais justos e precisos (AU)

• Processo FAPESP: 19/19619-7 - Geração ilimitada de imagens de lesões de pele usando redes generativas adversariais
• Beneficiário: Alceu Emanuel Bissoto
• Modalidade de apoio: Bolsas no Brasil - Doutorado