O papel do aprendizado contrastivo para a correção assistida pelo usuário da segmentação de células

• Processo: 22/16491-2
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Iniciação Científica
• Vigência (Início): 01 de abril de 2023
• Vigência (Término): 31 de julho de 2023
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Alexandre Xavier Falcão
• Beneficiário: Ilan Francisco da Silva
• Supervisor: Loic Royer
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Local de pesquisa: CZ Biohub, Estados Unidos
• Vinculado à bolsa: 22/07877-4 - Incorporando aprendizado contrastivo na segmentação de imagens por árvores dinâmicas, BP.IC
• Assunto(s): Aprendizagem profunda Microscopia confocal Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Aprendizado contrastivo | Aprendizado profundo | microscopia confocal | Segmentação de Células | segmentação interativa de imagens | Aprendizado de Máquina

Resumo

A segmentação de imagens de células de imagens de microscopia 3D/4D é uma tarefa complexa devido à falta de intensidade de sinal em algumas partes da imagem, divisão e fusão de células. Métodos baseados em aprendizado profundo foram desenvolvidos para resolver o problema automaticamente, mas erros frequentemente ocorrem, levando a dois subproblemas de interesse: (1) como podemos detectar efetivamente as células com erros de segmentação? (2) como podemos corrigir os erros com eficiência? Neste projeto BEPE (Bolsa de Estágio em Pesquisa no Exterior), vamos colaborar com pesquisadores do Chan-Zuckerberg Biohub (CZ Biohub) em ambos os subproblemas. Para (1), propomos uma ferramenta de visualização baseada em aprendizado contrastivo e projeções não lineares para identificar mais facilmente blocos de imagem (patches) contendo erros de segmentação. Para (2), ao visualizar e selecionar blocos candidatos a partir de uma projeção 2D, o usuário pode corrigir os erros com eficiência usando um algoritmo de segmentação baseado em grafos desenvolvido em um projeto anterior (FAPESP #2021/05704-2) e aprimorado no atual (FAPESP #2022/07877-4). Esse algoritmo, denominado Differential Dynamic Trees, agora explora o aprendizado contrastivo para melhorar o contraste entre o objeto e o fundo durante o delineamento do objeto. Nesse sentido, a proposta do BEPE investigará o papel da aprendizagem contrastiva para a segmentação celular interativa. O trabalho consiste em construir os modelos contrastivos para (1) e (2), incorporá-los na ferramenta de software em desenvolvimento na CZ Biohub, avaliar os resultados e documentar o trabalho. Esperamos enviar um artigo sobre isso no último período após o retorno do BEPE.