Crean un micrófono óptico que puede ver el sonido

Un láser apuntado a una guitarra genera una imagen del sonido que luego puede ser recreado sin inferencias ni micrófonos gracias a un sistema de cámaras corrientes. Un algoritmo convierte las imágenes en vibraciones para reconstruir el sonido original.

Científicos de la Universidad Carnegie-Mellon (EE.UU.) han desarrollado un “micrófono óptico” que permite visualizar el sonido. Ve las vibraciones del sonido (de hasta 63 kHz) con tanta precisión que puede capturar audio aislado de guitarras separadas tocando al mismo tiempo.

El nivel de detalle logrado con este micrófono óptico permite incluso aislar y reconstruir el sonido de un solo instrumento en el corazón de una banda o de toda una orquesta, aseguran los investigadores.

Se trata de un nuevo tipo de cámara o dispositivo de imágenes que es capaz de ver algo invisible a simple vista, un desarrollo que mejora drásticamente los intentos anteriores de capturar sonido usando visión por computadora.

El sistema utiliza dos cámaras corrientes, en lugar de las de alta velocidad utilizadas en investigaciones anteriores, lo que permite reducir el costo.

Objetos en movimiento

El sistema de doble cámara puede capturar vibraciones de objetos en movimiento, como los movimientos de una guitarra mientras un músico la toca, y simultáneamente detectar sonidos individuales desde múltiples puntos.

Mientras que las vibraciones observables visualmente se pueden capturar directamente con una cámara de alta velocidad, las vibraciones diminutas e imperceptibles de los objetos se pueden amplificar ópticamente mediante la visualización del desplazamiento de un patrón moteado, creado al iluminar con un rayo láser la superficie vibrante.

Un patrón de motas se refiere a la forma en que la luz coherente (láser) se comporta en el espacio después de que se refleja en una superficie rugosa. Ese comportamiento cambia a medida que la superficie vibra.

El sistema funciona analizando las diferencias en los patrones de motas de las imágenes capturadas por las cámaras: un algoritmo mide los cambios 2D del patrón moteado de la imagen y calcula la diferencia entre los patrones de los dos flujos de video. Luego convierte esas diferencias en vibraciones para reconstruir el sonido.

Imagen brillante

Toda el desarrollo bascula en torno al láser: al apuntarlo a la superficie (de una guitarra, por ejemplo) para “escuchar”, produce una especie de brillo, que crea un patrón evolutivo de acuerdo con las vibraciones.

La imagen grabada para percibir el sonido producido es por tanto la de este brillo. Para ello se utilizan dos cámaras de 60 fotogramas por segundo. Son cámaras relativamente corrientes que alcanzan suficiente precisión debido a que se complementan entre ellas.

Una de las cámaras utiliza un obturador global y graba la escena en una sola toma. La otra cámara utiliza un obturador de desplazamiento, que registra la imagen “línea por línea”, lo que genera latencia. Un algoritmo combina las dos imágenes y recrea de forma fiable el sonido original.

El equipo completó varias demostraciones exitosas de la efectividad de su sistema para detectar vibraciones y la calidad de la reconstrucción del sonido.

Demostración exitosa

En sus experimentos, los investigadores capturaron audio aislado de guitarras separadas tocando al mismo tiempo, mientras altavoces individuales tocaban música diferente a la vez.

Asimismo, analizaron las vibraciones de un diapasón y usaron las vibraciones de una bolsa de aperitivos crujientes que estaba cerca de un parlante, para capturar el sonido procedente de una persona hablando.

A pesar de todo este ruido, el experimento constituyó un éxito: los científicos lograron aislar limpiamente el sonido aislado de las guitarras tocando simultáneamente, así como los de los altavoces que emitían diferentes sonidos.

Mejora tecnológica

Ya se han desarrollado sistemas similares en el pasado, reconocen los investigadores: citan el trabajo del MIT, que creó uno de los primeros micrófonos visuales en 2014.

La idea de este invento previo es la siguiente: la cámara filma las vibraciones de la superficie del instrumento que emite un sonido: por ejemplo, la madera de una guitarra. Los movimientos muy rápidos de la vibración se pueden visualizar y analizar para transcribir el sonido emitido.

Sin embargo, esto ha requerido hasta ahora el uso de cámaras capaces de capturar imágenes a muy alta velocidad. Los científicos de Carnegie-Mellon afirman haber obtenido resultados más precisos con equipos menos eficientes.

“Hemos conseguido que el micrófono óptico sea mucho más práctico y utilizable”, dice Srinivasa Narasimhan, uno de los investigadores, en un comunicado. " Hemos mejorado la calidad al mismo tiempo que reducimos los costos".

Aplicaciones múltiples

Los científicos ya están considerando varios usos para su herramienta. Podría, por ejemplo, permitir a los ingenieros de sonido detectar la música producida por instrumentos musicales individualmente, sin interferencias, para afinar la mezcla general lo mejor posible. Incluso se puede utilizar para grabar instrumentos musicales de forma remota (por ejemplo, guitarras, violines y otros).

En un contexto completamente diferente, este micrófono óptico podría detectar asimismo máquinas defectuosas en una fábrica ruidosa, aislando los sonidos característicos de una avería, e incluso identificar un ruido extraño procedente del coche que conducimos.

Referencia

Dual-Shutter Optical Vibration Sensing. Mark Sheinin et al. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans. June 2022.

Noticias relacionadas

Músicos y químicos usan el sonido para comprender mejor la ciencia de la vida

Unas extrañas matemáticas podrían unir las leyes de la naturaleza y explicar todos los misterios del Universo