Transmissão perceptualmente eficiente de vídeo ominidirecional editado

• Processo: 18/23086-1
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de dezembro de 2020
• Data de Término da vigência: 30 de novembro de 2022
• Área do conhecimento: Engenharias - Engenharia Elétrica - Telecomunicações
• Acordo de Cooperação: MCTI/MC
• Pesquisador responsável: Marcelo Menezes de Carvalho
• Beneficiário: Marcelo Menezes de Carvalho
• Instituição Sede: Faculdade de Tecnologia. Universidade de Brasília (UNB)
• Pesquisadores associados: Mylene Christine Queiroz de Farias ; Ravi Prakash
• Bolsa(s) vinculada(s): 21/05972-7 - Identificando cortes de cena naturais em vídeos 360 graus a partir do uso de modelo híbrido de saliência computacional, BP.TT; 20/05561-4 - Esquema de taxa de bits adaptativa para vídeos 360 graus editados, BP.TT
• Assunto(s): Rede de comunicação Vídeo Realidade virtual Atenção visual Internet
• Palavra(s)-Chave do Pesquisador: atenção visual | Realidade Virtual | Transmissão Adaptativa com Taxa Variável | Vídeos Omnidirecionais | Redes de Comunicação

Resumo

O principal objetivo deste projeto é desenvolver um novo algoritmo para transmissão adaptativa de vídeo omnidirecional (ou 360 graus) através da Internet, que esteja alinhado à transmissão de vídeos editados, ou seja, vídeos formados por sequências de cenas e cortes (ex: filmes, programas de TV, etc). Atualmente, a maioria dos trabalhos desenvolvidos nesta área parecem assumir que os vídeos em 360 graus serão sempre uma sequência única, sem cortes, gravada a partir de uma câmera omnidirecional. Neste projeto, antecipamos novas aplicações e uso destes vídeos, em que o trabalho de edição será melhor explorado para a criação de vídeos 360 graus mais imersivos. Neste sentido, a própria edição em 360 graus precisa ser estudada, e neste projeto nós exploraremos a edição em cortes a partir do uso de técnicas de detecção de pontos de saliência nas imagens, que atraem a atenção do espectador. Assim, a partir da detecção destes pontos de interesse nas cenas, e o entendimento de seu impacto na percepção de qualidade do vídeo, a edição de cortes poderá ser feita de maneira inteligente de forma a também facilitar o trabalho do esquema de transmissão adaptativa no lado cliente da aplicação. Neste caso, utilizando-se do realinhamento do campo de visão das cenas nos pontos de corte, o descarregamento antecipado de cenas pode ser realizado de maneira mais eficiente, facilitando o trabalho sempre complicado de predição da direção de visualização do usuário no vídeo 360 graus. Neste sentido o algoritmo de transmissão adaptativa aqui proposto explorará o descarregamento inteligente de porções do vídeo omnidirecional, tanto com relação aos pontos de corte como na sequências entre cortes, em que o usuário terá toda a liberdade de explorar a cena. Mais ainda, além do aspecto temporal, importante para antecipação e uso eficinte dos recursos, também será explorado a dinâmica espacial dos quadros de imagem, a partir de uma abordagem que levará em consideração a qualidade perceptual do vídeo. Ao final deste projeto, pretende-se entregar um conjunto de bancos de dados sobre vídeos omnidirecionais editados, a partir das técnicas de saliência e detecção de pontos de interesse, assim como o próprio esquema de transmissão adaptativa. O projeto prevê o trabalho colaborativo com mais dois pesquisadores associados, sendo um deles da University of Texas at Dallas, e a outra da Universidade de Brasília. (AU)