O papel do aprendizado contrastivo para a correção assistida pelo usuário da segmentação de células

Resumo

A segmentação de imagens de células de imagens de microscopia 3D/4D é uma tarefa complexa devido à falta de intensidade de sinal em algumas partes da imagem, divisão e fusão de células. Métodos baseados em aprendizado profundo foram desenvolvidos para resolver o problema automaticamente, mas erros frequentemente ocorrem, levando a dois subproblemas de interesse: (1) como podemos detectar efetivamente as células com erros de segmentação? (2) como podemos corrigir os erros com eficiência? Neste projeto BEPE (Bolsa de Estágio em Pesquisa no Exterior), vamos colaborar com pesquisadores do Chan-Zuckerberg Biohub (CZ Biohub) em ambos os subproblemas. Para (1), propomos uma ferramenta de visualização baseada em aprendizado contrastivo e projeções não lineares para identificar mais facilmente blocos de imagem (patches) contendo erros de segmentação. Para (2), ao visualizar e selecionar blocos candidatos a partir de uma projeção 2D, o usuário pode corrigir os erros com eficiência usando um algoritmo de segmentação baseado em grafos desenvolvido em um projeto anterior (FAPESP #2021/05704-2) e aprimorado no atual (FAPESP #2022/07877-4). Esse algoritmo, denominado Differential Dynamic Trees, agora explora o aprendizado contrastivo para melhorar o contraste entre o objeto e o fundo durante o delineamento do objeto. Nesse sentido, a proposta do BEPE investigará o papel da aprendizagem contrastiva para a segmentação celular interativa. O trabalho consiste em construir os modelos contrastivos para (1) e (2), incorporá-los na ferramenta de software em desenvolvimento na CZ Biohub, avaliar os resultados e documentar o trabalho. Esperamos enviar um artigo sobre isso no último período após o retorno do BEPE. (AU)