Streaming adaptativo em tempo real para aplicações de realidade virtual usando Redes Generativas de Autoatenção (SAGAN)

• Processo: 25/01929-0
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de abril de 2025
• Data de Término da vigência: 29 de fevereiro de 2028
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Fabio Luciano Verdi
• Beneficiário: Públio Elon Correa da Silva
• Instituição Sede: Centro de Ciências em Gestão e Tecnologia (CCGT). Universidade Federal de São Carlos (UFSCAR). Campus de Sorocaba. Sorocaba , SP, Brasil
• Empresa: Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação (FEEC)
• Vinculado ao auxílio: 21/00199-8 - Redes e serviços inteligentes rumo 2030 (SMARTNESS), AP.PCPE
• Assunto(s): Economia de energia Realidade virtual Redes de computadores
• Palavra(s)-Chave do Pesquisador: Codificacao de video | Compressão de Imagens 360 | Economia de Energia | Predição de Saliência | Realidade Virtual | Redes de Computadores

Resumo

Os avanços recentes nas redes celulares, especialmente durante a pandemia da COVID-19, aceleraram significativamente o desenvolvimento de aplicações de realidade virtual (VR) e realidade aumentada (AR). Esse crescimento tem sido evidente em áreas como tele-educação, telemedicina, aquisição de habilidades e gamificação, aumentando simultaneamente a demanda por conteúdo de vídeo em alta resolução. Isso, por sua vez, eleva os requisitos de largura de banda e a Qualidade da Experiência (QoE), destacando particularmente o desafio do streaming de imagens em 360 graus, onde a resolução espacial e o tamanho da imagem impõem uma grande carga sobre a largura de banda e a latência. Nesse contexto, hardwares programáveis e aceleradores, como FPGAs, GPUs, smartNICs e switches, localizados na borda da rede, têm ganhado considerável interesse devido à sua capacidade de reduzir a latência de ponta a ponta ao lidar com tarefas computacionalmente intensivas. Além disso, a integração da computação de borda com Inteligência Artificial Generativa (IA) tem demonstrado um enorme potencial na geração de dados baseados em modelos de Aprendizado de Máquina (ML). Neste projeto de doutorado, buscamos utilizar Redes Adversariais Generativas (GANs) para aprimorar seletivamente a resolução das imagens na borda da rede. Especificamente, planejamos investigar Self-Attention GANs para Super-Resolução de Vídeo e desenvolver uma solução otimizada para execução em aceleradores, visando um processamento eficiente de tarefas de AR/VR.