Investigação de Abordagens de Perguntas e Respostas baseadas em Informações Visuais para Gerenciamento de Desastres

Resumo

As mudanças climáticas estão tornando os desastres naturais mais frequentes. Inundações, furacões e terremotos estão se tornando mais intensos e frequentes em vários países. Nesse cenário, é essencial ter equipes de resgate prontas para salvar possíveis vítimas de acidentes, desabamentos de edifícios e deslizamentos de terra. Para essas equipes, é vital estar preparado para o que pode ser encontrado em áreas destruídas. Robôs como drones são extremamente úteis porque podem enviar imagens de áreas para reconhecimento sem arriscar vidas humanas. Pretendemos criar um modelo, baseado em modelos de aprendizado de máquina com supervisão fraca, que possa responder a algumas perguntas simples e diretas sobre áreas destruídas. Para esse fim, será usado um conjunto de dados composto por imagens de áreas inundadas ou destruídas. O modelo será treinado para reconhecer quais áreas estão destruídas e quais não estão, usando um grafo de conhecimento, e então um modelo de linguagem simples será construído para responder a algumas perguntas diretas em apoio às tarefas de gerenciamento de desastres.