APIs e Microsserviços

11 set, 2017

Levando áudio espacial em tempo real para web com Songbird

Publicidade

Artigo de Jamieson Brettle e Drew Allen, publicado originalmente pelo Chrome Media Team. A tradução foi feita pela Redação iMasters com autorização.

Para que uma cena virtual seja verdadeiramente imersiva, os visuais impressionantes precisam ser acompanhados por um verdadeiro áudio espacial para criar uma experiência realista e credível. As ferramentas de áudio espacial permitem que os desenvolvedores incluam sons que podem vir de qualquer direção e que estão associados ao espaço 3D com fontes de áudio, envolvendo o usuário em som de 360 graus.

O áudio espacial ajuda a desenhar o usuário em uma cena e cria a ilusão de entrar em um mundo completamente novo. Para tornar isso possível, a equipe do Chrome Media criou o Songbird, um mecanismo de codificação de áudio espacial open source que funciona em qualquer navegador web usando a API Web Audio.

A biblioteca Songbird aceita qualquer número de fluxos de áudio mono e permite que os desenvolvedores os posicionem de forma programática no espaço 3D ao redor do usuário. O Songbird permite que você crie paisagens sonoras imersivas, reproduzindo realisticamente reflexão e reverberação para o espaço que você descreve. Os sons saltam das paredes e refletem os materiais exatamente como fariam na vida real, capturando verdadeiramente um som de 360 graus. O Songbird cria um campo de som ambisonic que pode ser renderizado em tempo real para uso em sua aplicação. Nós nos juntamos com o projeto Omnitone, sobre o qual falamos no ano passado, para adicionar suporte ambisonic de ordem superior ao renderizador binaural da Omnitone para produzir um áudio muito mais preciso do que até então.

O Songbird encapsula o Omnitone e, com ele, os desenvolvedores agora podem adicionar áudio interativo e completo para qualquer aplicativo baseado na web. O Songbird pode escalar para qualquer ordem ambisonics, criando assim um som mais realista e um desempenho superior ao que é possível através da API Web Audio padrão.

Diagrama de processamento de áudio do Songbird
Diagrama de processamento de áudio do Songbird

A implementação do Songbird baseia-se na especificação de mídia espacial do Google. Ele espera entrada mono e saídas de layout de canal ACN ambisonic (multicanal) com normalização SN3D. A documentação detalhada pode ser encontrada aqui.

À medida que a web surge como uma importante plataforma VR para a entrega de conteúdo, o áudio espacial desempenhará um papel vital para que os usuários abracem essa nova mídia. O Songbird e o Omnitone são ferramentas-chave para habilitar o áudio espacial na plataforma web e estabelecê-lo como uma plataforma preeminente para experiências VR atraentes. Combinar essas experiências de áudio com bibliotecas JavaScript 3D como o three.js dá um vislumbre do futuro na web.

Demo combinando som especial em um ambiente 3D
Demo combinando som especial em um ambiente 3D

Esse projeto foi possível graças à estreita colaboração com as equipes Daydream e Web Audio do Google. Essa colaboração nos permitiu oferecer capacidades de áudio semelhantes às que estão disponíveis na web para desenvolvedores criando aplicativos Daydream.

Estamos ansiosos para ver o que as pessoas fazem com o Songbird agora que ele é open source. Confira o código no GitHub e deixe-nos saber o que você pensa. Também estão disponíveis várias demos sobre a criação de áudio esférico completo com Songbird.

Este artigo é do Chrome Media Team. Ele foi escrito por Jamieson Brettle e Drew Allen. A tradução foi feita pela Redação iMasters com autorização. Você pode acessar o original em: https://developers.googleblog.com/2017/09/bringing-real-time-spatial-audio-to-web.html