Algoritmo do MIT permite extrair áudio de imagens sem som

Pesquisadores do MIT junto com Microsoft e Adobe desenvolveram um algoritmo que permite reconstruir um sinal de áudio a partir da análise de vibrações de objetos representados em vídeo. Nos experimentos, eles conseguiram identificar sinais de áudio a partir das vibrações de um saco de batatas chips que foi fotografada a uma distância de 15 metros através de um vidro à prova de som.

Em outros testes, a equipe extraiu sinais de áudio de vídeos de folhas de alumínio, a superfície de um copo de água e de folhas de uma planta em vaso. As conclusões serão apresentadas pelos pesquisadores na conferência de computação gráfica Siggraph, ainda este ano.

De acordo com Abe Davis, estudante de pós-graduação em engenharia elétrica e ciência da computação no MIT e primeiro autor do estudo, quando o som atinge o objeto, faz com que ele vibre. É a partir do movimento dessa vibração que é possível identificar um sinal visual muito sutil, normalmente invisível a olho nu. Ele disse que a informação já estava lá, apenas foi descoberto como identificá-la.

Para realizar os experimentos, foram usadas câmeras de alta velocidade com a captura de 2 mil a 6 mil quadros por segundo. Entretanto, em outro teste, os pesquisadores utilizaram uma câmera digital comum com capacidade de 60 quadros por segundo. Nesse modelo, a reconstrução de áudio também foi possível, mas menos fiel do que a feita com a câmera de alta velocidade. Ainda com a qualidade reduzida, foi possível identificar o sexo e o número de pessoas que estavam conversando em um quarto, além de propriedades acústicas das vozes dos oradores.

Entre as aplicações possíveis com a técnica está a tecnologia forense, mas Davis afirma que este é “um novo tipo de imagem”. Para ele, recuperar os sons dos objetos permite identificar várias informações sobre o que acontece ao redor do objeto, além de dados sobre o objeto em si. Em um trabalho paralelo ainda em desenvolvimento, a equipe está tentando determinar as propriedades materiais e estruturais dos objetos a partir da resposta visível para as ondas de som.

A equipe também relatou que foi possível medir movimentos de medição de cerca de um décimo de micrômetro, o que corresponde a cinco milésimos de um pixel. Com a medição da mudança de valor da cor de um único pixel em longo tempo, é possível identificar movimentos menores que um pixel.

Com um algoritmo que permite ampliar minúsculas variações no vídeo, a equipe pôde visualizar movimentos que antes não eram identificados, como a respiração de um bebê no berçário de um hospital. A técnica utiliza sucessivos quadros de vídeo por meio de vários filtros de imagens usados para medir flutuações em diferentes orientações, como na vertical, horizontal e diagonal, além de diversas escalas.

Davis disse que as distorções nas bordas dos objetos podem conter informações sobre a vibração de alta frequência dos objetos que não seriam identificadas a olho nu. Para Alexei Efros, professor de engenharia elétrica e ciência da computação da Universidade da Califórnia em Berkeley, a descoberta é bem interessante. Segundo ele, o recurso terá aplicações importantes para a tecnologia, mas não descarta a possibilidade de novas aplicações surgirem além daquelas esperadas pela equipe desenvolvedora da tecnologia.

No vídeo abaixo, é possível ver como funciona a tecnologia:

Com informações de Canaltech