Uma análise de síntese de exemplos para detecção de objetos baseada em deep learning

Autor(es)

Leonardo Blanger

• Tipo de documento: Dissertação de Mestrado
• Imprenta: São Paulo.
• Instituição: Universidade de São Paulo (USP). Instituto de Matemática e Estatística (IME/SBI)
• Data de defesa: 2020-10-16

Membros da banca

Nina Sumiko Tomita Hirata; David Menotti Gomes; Roberto de Alencar Lotufo

• Orientador: Nina Sumiko Tomita Hirata

Resumo

Este trabalho investiga o uso de imagens sintetizadas como uma forma de reduzir a dependência de técnicas modernas de Detecção de Objetos, baseadas em Deep Learning, por formas caras de supervisão. Em particular, este trabalho propõe utilizar grandes quantidades de amostras de detecção sintetizadas para pré-treinar arquiteturas de Detecção de Objetos antes de ajustar estas arquiteturas usando dados reais. Como principal contribuição deste projeto, demonstramos experimentalmente como este pré-treinamento serve como uma poderosa estratégia de inicialização, permitindo que modelos atinjam resultados competitivos usando apenas uma fração dos dados rotulados reais. Além disso, para poder sintetizar estas amostras, propomos um pipeline de síntese capaz de gerar uma sequência infinita de imagens artificiais associadas a anotações no formato de bounding boxes. Demonstramos como é possível projetar este pipeline de síntese usando apenas técnicas já existentes baseadas em GANs. Além disso, todos os estágios do nosso pipeline de síntese podem ser completamente treinados usando apenas imagens rotuladas para classificação. Desta forma, fomos capazes de tirar proveito de datasets maiores e mais baratos de rotular, para melhorar os resultados em Detecção de Objetos, um problema mais difícil e para o qual produzir dados rotulados diretamente é mais custoso. Demonstramos a eficácia desta estratégia de inicialização via pré-treinamento, em combinação com nosso pipeline de síntese, através de experimentos envolvendo detecção de quatro objetos reais: Códigos QR, Faces, Pássaros, e Carros. (AU)

• Processo FAPESP: 18/00390-7 - Detecção de códigos QR usando modelos de aprendizado profundo
• Beneficiário: Leonardo Blanger
• Modalidade de apoio: Bolsas no Brasil - Mestrado