Modelos de Deep Learning para Rastreamento de Jogadores e Calibração de Câmeras de Drones no Futebol

• Processo: 25/03268-1
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Data de Início da vigência: 01 de janeiro de 2026
• Data de Término da vigência: 31 de janeiro de 2027
• Área de conhecimento: Ciências da Saúde - Educação Física
• Pesquisador responsável: Paulo Roberto Pereira Santiago
• Beneficiário: Lennin Abrão Sousa Santos
• Instituição Sede: Faculdade de Medicina de Ribeirão Preto (FMRP). Universidade de São Paulo (USP). Ribeirão Preto , SP, Brasil
• Assunto(s): Cinemática Processamento de imagens Redes neurais convolucionais Biomecânica
• Palavra(s)-Chave do Pesquisador: cinematica | Drones no Esporte | Inteligência Artificial no Esporte | Processamento de imagens | Redes Neurais convolucionais | Tecnologia no esporte | Biomecânica

Resumo

Este projeto de mestrado apresenta um sistema de visão computacional para analisar vídeos defutebol captados por drones em vista superior, com dois eixos principais: rastreamento multi-objeto (Multi-Object Tracking, MOT) e calibração automática da câmera no plano do campo. Norastreamento, adota-se o paradigma tracking by detection - abordagem predominante em MOTcom deep learning - que segmenta o problema em detecção e associação (Tracking-by-Detection).Utiliza-se um detector YOLO adaptado à vista zenital, com anchor boxes otimizadas por análise deagrupamento e data augmentations que simulam variações típicas de imagens de drone (escala,rotação, brilho, oclusão) . A associação entre quadros usa uma cabeça de Re-Identification(ReID) para reduzir trocas de identidade em oclusões ou proximidade entre jogadores. Ummódulo de estimativa de pose multi-pessoa é considerado como redundância para aumentara robustez em casos de oclusões. Na calibração, combinam-se segmentação semântica daslinhas e gramado do campo, detecção de pontos-chave (interseções, marcas, círculos), estimaçãode homografia e verificações geométricas. O conjunto de dados inclui vídeos 4K de categoriasde base, anotados com caixas delimitadoras de jogadores, IDs e marcas de campo, além debases públicas; o treinamento é feito em GPUs de alto desempenho (NVIDIA RTX 3090/4090).A solução será integrada ao vailá, com código, pesos e documentação abertos. A validação faráuso de métricas consolidadas: mAP@[0.50:0.95] (detecção), IDF1 e HOTA (rastreamento), alémde erro de reprojeção/calibração. As metas definidas são: mAP@[0.50:0.95] ¿ 0.55; IDF1 ¿ 0.60;erro de reprojeção ¿ 12 px. O projeto prospecta ainda pré-treinamento auto-supervisionado paraimagens aéreas, implantação em dispositivos de borda de baixo custo e práticas de ciência abertapara uso fora do laboratório. Como relevância social, leva ciência e tecnologia ao esporte debase, promovendo letramento digital, consciência crítica e senso de pertencimento entre jovenscom acesso limitado a ferramentas tecnológicas, contribuindo para formação cidadã e reduçãoda desigualdade tecnológica. (AU)