Algoritmo do Google cria vídeos baseado em poucas fotografias

Na semana passada, o Technology Review da MIT avaliou um estudo de John Flynn, engenheiro do Google e autor da pesquisa chamada DeepStereo: aprendendo a prever novas perspectivas de imagens do mundo. Flynn e os três coautores do estudo, todos funcionários do Google, explicam como desenvolveram o sistema DeepStereo, que pode olhar para uma série de imagens fixas e combiná-las em uma animação sem interrupções.

Ele pode não parecer tão diferente de projetos semelhantes, como o SIGGRAPH, que usa imagens da Internet para criar timelapses, mas também cria novas imagens que preenchem as lacunas entre uma figura e outra, prevendo partes e perspectivas das figuras que não existem em nenhumas das fotos fornecidas ao sistema. Em vez de os nossos olhos preencherem essas lacunas entre uma imagem e outra, o DeepStereo “imagina” o que elas seriam e as insere no resultado final. “Diferentemente de trabalhos anteriores, aprendemos a sintetizar novas perspectivas usando uma nova arquitetura, que não requer treinamentos de profundidade ou divergências”, escreveram Flynn e os coautores.

A arquitetura da rede por trás disso é muito complexa e baseada em diversos precedentes, mas os autores explicaram um pouco do funcionamento dela: existem duas “torres” separadas, ou redes de arquitetura, trabalhando ali. Uma faz a previsão da profundidade dos pixels, baseada nos dados disponibilizados pela imagem em 2D, enquanto a outra faz previsões sobre as cores. Juntas, elas preveem a profundidade e as cores das formas presentes nas imagens em 2D, sintetizando o resultado em um vídeo completo.

Veja com atenção o vídeo abaixo, e você perceberá alguns engasgos do DeepStereo: momentos onde os cantos ficam borrados ou pixelados. “Regiões em que o algoritmo não está confiante o suficiente tendem a ficar borradas, em vez de serem preenchidas com pixels distorcidos”, explicou a equipe.

O sistema até lida com objetos em movimento nas imagens. “Objetos em movimento, algo que ocorre com frequência durante o treinamento, são resolvidos de forma graciosa por nosso modelo: eles aparecem borrados de uma maneira que remete ao efeito motion blur”.

No entanto, o resultado final – aos olhos de quem não sabe o trabalho que deu para criá-lo – pode não parecer tão diferente de um timelapse qualquer. Mas saber que muito do vídeo é criado do nada por um algoritmo faz um tour banal do Street View parecer extraordinário.

Com informações de Gizmodo