Otro ladrillo más para la neurociencia: logran reconstruir canción de Pink Floyd a partir de registro de actividad de neuronas

Primero lo primero. Sí, hay científicos que al publicar los resultados de sus investigaciones saben que apelar a ciertos truquitos les dará más notoriedad. Seguro en estas horas no seremos ni el primer ni el último medio en referirse a esta novedad científica apelando al famoso grupo Pink Floyd o a la que tal vez sea una de sus obras más populares, el disco conceptual The Wall. No es el único as que tienen bajo la manga para llamar la atención: el hecho de que música, y en particular una canción conocida de una banda conocida, pueda ser reconstruida a partir de información que se registra de la actividad del cerebro es algo que maravilla tanto a quienes siempre les gustó la ciencia ficción como a quienes les apasiona hasta dónde podemos llegar a investigar nuestro órgano más complejo, pasando claro por las melómanas y melómanos. Segundo lo segundo. El trabajo en el que se comunica este logro en realidad va mucho más allá de Pink Floyd o de la reconstrucción de una determinada canción. Lo que está en juego es, como en casi todo artículo científico, la generación de nuevo conocimiento. En este caso, el artículo en cuestión hace aportes a la neurociencia de la percepción musical, de cómo y dónde nuestro cerebro procesa la música y, más aún, plantea caminos que podrían ser útiles a la hora de lidiar con interfases cerebro-computadora o para dar una mano a personas con desórdenes en el procesamiento auditivo. En otras palabras, no sólo se trata de la prodigiosa “pavadita” de poder saber qué canción escuchó una persona accediendo al registro de su actividad cerebral, sino de todo lo que se necesita para lograr eso y qué cosas podemos pensar a partir de allí.

De este modo, el artículo titulado algo así como La música se puede reconstruir a partir de la actividad de la corteza auditiva humana utilizando modelos de decodificación no lineal, publicado recientemente, seguro no pasará desapercibido. Liderado por Ludovic Bellier, del Instituto de Neurociencia Helen Wills de la Universidad de California, Estados Unidos, el trabajo está firmado por otros cinco investigadores también de instituciones norteamericanas. En ese marco, dado el nacionalismo allí imperante, puede llamar la atención que la banda seleccionada para este mojón de la neurociencia auditiva sea de origen británico, pero no lo es tanto: Bellier hizo gran parte de su carrera en Francia. De poder entrevistarlos seguramente ahondaríamos en ello, pero por ahora contentémonos con ver lo que dice el artículo.

Sonido, señal, sonido

“La música es una experiencia universal en todas las edades y culturas y es una parte fundamental de nuestra vida emocional, cognitiva y social”, comienza diciendo el trabajo de Bellier y colegas, y no hay nada que se pueda objetar al respecto. También afirman que “comprender el sustrato neuronal que respalda la percepción musical”, entendiéndolo como “el procesamiento de sonidos musicales desde la acústica hasta las representaciones neuronales y las percepciones”, es “un objetivo central de la neurociencia auditiva”. Según exponen, en décadas recientes se viene generando “un gran progreso en la comprensión de la base neuronal de la percepción musical, con múltiples estudios que evalúan los correlatos neuronales de elementos musicales aislados, como el timbre, el tono, la melodía, la armonía y el ritmo”, y afirman que hoy “está bien establecido” que la percepción de la música “se basa en una amplia red de regiones subcorticales y corticales, incluidas las cortezas auditivas primaria y secundaria, las áreas sensoriomotoras y las circunvoluciones frontales inferiores”.

En cuanto al papel de cada uno de los dos hemisferios cerebrales en el procesamiento de la música, en el artículo establecen que si bien los dos están involucrados, hay una “preferencia relativa por el hemisferio derecho en comparación con el dominio del izquierdo por el habla”. Como bien dicen, en su estudio el objetivo era precisamente, más allá de reproducir la canción en base a la lectura de la actividad neuronal, “especificar qué regiones del cerebro participan preferentemente en la percepción de los diferentes elementos acústicos que componen una canción”. Justamente, tratando de ver qué áreas del cerebro participan activamente en el procesamiento de una canción es que apelaron a tratar de reconstruir la canción a partir de sus registros neurales, ya que allí podrían apagar o encender los registros de cada sensor colocado y ver si la canción recreada se afectaba o no.

Al respecto de esa “reconstrucción de los estímulos”, definen que se trata de “registrar la actividad neuronal de la población provocada por un estímulo y luego evaluar con qué precisión se puede reconstruir este estímulo a partir de la actividad neuronal mediante el uso de modelos de decodificación basados en regresión”. Para ello hay un montón de aprendizaje automatizado, inteligencia artificial y demás, pero en el fondo la cosa es, al menos conceptualmente, sencilla de comprender: así como un sonido puede transformarse en una señal eléctrica por un micrófono y luego esa señal vuelve a ser un sonido al pasar por un parlante, aquí se parte de un conjunto de sonidos que se transforman en actividades de poblaciones de neuronas que luego pueden volver a convertirse en sonidos (o en representaciones gráficas, como son los espectrogramas).

Para ello los autores dicen que “adoptaron la aproximación metodológica usada en el reconstrucción del habla”, y sobre el asunto dicen que ambas “son señales acústicas complejas que se basan en una estructura de información jerárquica de orden múltiple”, los “fonemas, sílabas, palabras, semántica y sintaxis”, en el caso del habla, y “las notas, melodías, acordes y armonía” en el caso de la música. Para reconstruir la música a partir de las señales neurales no trabajaban en el vacío, sino que reconocen que podrían emplear “el mismo enfoque de regresión que se aplica al habla” que ya se ha empleado en trabajos anteriores, que además muestran “una superposición funcional de las estructuras cerebrales involucradas en el procesamiento del habla y la música”. También dejan constancia de que la electroencefalografía intracraneal es “muy adecuada para estudiar el procesamiento auditivo debido a su alta resolución temporal y excelente relación señal-ruido”. Vayamos entonces con lo que hicieron.

Escuchando al cerebro

“Obtuvimos un conjunto de datos único de electroencefalograma intracraneal en el que 29 pacientes neuroquirúrgicos escucharon pasivamente la popular canción de rock ‘Another Brick in the Wall, Part 1’ (de Pink Floyd), mientras se registraba su actividad neuronal con un total de 2.668 electrodos directamente colocados sobre su superficie cortical (electrocorticografía)”, señalan en el trabajo.

Sobre la canción escogida, los autores dicen que “constituye un estímulo auditivo rico y complejo, capaz de provocar una respuesta neuronal distribuida que incluye regiones del cerebro que codifican elementos musicales de orden superior, incluidos acordes (es decir, al menos tres notas tocadas juntas), armonía (es decir, la relación entre un sistema de acordes) y el ritmo (es decir, la disposición temporal de las notas)”. No es precisamente un gran piropo específico para la banda británica, ya que algo similar es esperable casi que para cualquier otra canción. Cierto es que en los artículos científicos lo que se espera es que los autores no pongan consideraciones personales -salvo ideas, hipótesis y demás- por lo que el párrafo queda corto para que sepamos por qué esa y no otra canción.

Como uno no es un gran pinkfloydista, consideramos oportuno consultar a un periodista musical especializado en el rock británico. Por suerte aquí en la diaria tenemos uno que accedió de inmediato a comentar el asunto. El tema “Otro ladrillo en la pared, Parte 1” puede sonar un poco raro. Su ritmo cansino podría hacernos creer que es apenas una introducción para la segunda parte, que es la canción popular de marcado ritmo más famosa de ese disco. Pero la cosa no es tan así. “The Wall es una ópera rock, con varias partes. Todas esas partes son canciones. La parte 1 es una canción diferente a la 2, y de hecho después de la parte 1 no viene la parte 2, sino que hay otra microcanción que después se engancha con la parte 2. En el segundo disco está la parte 3 de ‘Another Brick in the Wall’. Las tres partes entonces están separadas”, explica Ignacio Martínez.

“La más famosa es la parte 2. Por su ritmo medio disco y eso capaz que cala más, pero a mí, por ejemplo, me gusta más la parte 1. Es mucho más oscura y tiene otra letra más. De hecho, las tres tienen letras distintas, y la parte 1 está lejos de ser una introducción”, discrepa Martínez, a quien mi idea de que es como un prólogo a la verdadera canción lo exaspera. “Si bien son canciones distintas, es difícil hablar de ellas así porque técnicamente el disco es conceptual, es una obra entera y magnífica”, cierra. Ya volveremos a él cuando veamos el resultado de la recreación de la canción a partir de su reconstrucción.

Bien. Pasada la canción -¡que no es una introducción, por más que lo parezca!- y registrada la actividad cortical de estas 29 personas, el equipo de investigadores comenzó a trabajar con los registros para ver cuáles de los 2.379 electrodos habían estado involucrados en el procesamiento de la información. Y, como dijimos, para ello volvieron a recrear la señal utilizando algunos de estos electrodos para ver cuáles eran esas regiones que habían trabajado.

Tus zonas musicales

Con el manejo de los modelos de regresión no lineales (y también lineales) pudieron determinar varias cosas. La primera: que no todos los electrodos eran necesarios para reconstruir la canción, indicando así que no todas las zonas del cerebro registradas habían estado activas en la escucha pasiva de la parte primera de “Otro ladrillo en la pared”. De hecho, con 347 de los 2.379 electrodos obtuvieron los mejores resultados.

Confirmando lo que ya se sabía, también encontraron que había más “electrodos sensibles a la canción” en el hemisferio derecho. De esos 347 electrodos sensibles a la canción, 87% se concentraban en tres regiones del cerebro: en las circunvoluciones temporales superiores bilaterales (68%), en las cortezas sensoriomotoras bilaterales, más precisamente en las circunvoluciones precentral y poscentral (14,4%), y en las circunvoluciones frontales inferiores bilaterales (4,6 %). Por todo ello señalan que, “a través de un enfoque anatomofuncional integrador basado en modelos de codificación y decodificación, confirmamos una preferencia del hemisferio derecho y un papel principal de la circunvolución temporal superior en la percepción musical, evidenciamos una nueva subregión de la circunvolución temporal superior sintonizada con el ritmo musical”, así como una organización anterior-posterior de esa circunvolución “que exhibe respuestas sostenidas y de inicio a los elementos musicales”. Así dicho, esto último puede no resultar demasiado elocuente, pero al ver las gráficas que acompañan el trabajo puede verse cómo algunos electrodos reaccionan al inicio o la duración de las partes vocales de la canción, del sintetizador, de la guitara líder o de la guitarra rítmica, que en este caso es la que lleva el ritmo (no hay batería y tal vez por ello parezca una introducción, pero allí está Ignacio Martínez para decirnos que es una canción por derecho propio). Por todo eso, los autores afirman que todos estos resultados “mejoran nuestra comprensión de la dinámica neuronal que subyace a la percepción de la música”.

Reproduciendo un tema a partir de los registros de actividad

Si están leyendo en la edición impresa esta nota, los invitamos a pasar por nuestra web porque, al hablar de audio y al haber compartido los investigadores unos breves fragmentos de las canciones recreadas, podrán allí escuchar algunas de las cosas que abordaremos aquí. Si ya están en la web, no teman molestar a nadie con los audios porque son fragmentos de escasos 15 segundos.

Ya vimos que los investigadores encontraron que no todos los electrodos que colocaron registraron actividad significativa al escuchar el tema de Pink Floyd. Por tanto, a la hora de recrear la canción se quedaron con apenas 347. Para que podamos apreciar cómo es todo esto, los investigadores incluyeron, como parte del material que divulga su trabajo, diversos audios.

En el primero podemos escuchar un fragmento del tema “Otro ladrillo en la pared, parte 1” en el que la canción original se transformó en un “espectrograma auditivo de sólo magnitud” del que luego se volvió a transformar en “una forma de onda”. El resultado no es tan prístino como la canción completa ni tiene toda su maravilla de matices y complejidades, pero nos permite tener con qué comparar la canción recreada a partir del registro de la actividad de neuronal.

La pueden escuchar aquí:

Luego, los autores nos regalan otro ejemplo maravilloso. En este caso la canción “Otro ladrillo en la pared, parte 1” es reconstruida mediante modelos no lineales alimentados con los datos registrados por los 347 electrodos de importancia en los 29 pacientes.

La pueden escuchar aquí:

El resultado, evidentemente, causa asombro. Del bueno. Reiteramos: no estamos aquí ante una inteligencia artificial recreando a la mítica banda Pink Floyd ni ante una exhibición circense similar. Por el contrario, estamos ante algoritmos y demás inteligencia artificial, pero sobre todo humana, que nos permite escuchar un fragmento de una canción generado a partir de datos extraídos de neuronas de 29 personas. ¿Qué diría un experto pinkfloydólogo?

“Lo escuché con auriculares varias veces. La primera sensación que me deja es que si no me hubieras dicho qué canción era, me costaría un poco darme cuenta de que esa parte de la melodía es de ‘Another brick in the wall’, da lo mismo que sea la versión 1, la 2 o la 3, porque la melodía en las 3 es la misma”, me comenta Ignacio Martínez. A Ignacio la voz le da “robótica”, y el ambiente general le suena “acuoso”. “Es como si Kraftwerk o Daft Punk hicieran una versión de ‘Another brick in the Wall, part 1’ a 4.000 metros bajo el agua”, me dice entre risas. Todo lo que acota Ignacio es pertinente. Pero como fanático de las películas de ciencia ficción sabe que son primeros pasos. Más trabajos, con otros electrodos, en zonas que irán explorándose, podrán hacer que la canción no suene tan profunda en el mar o que algunas cosas no suenen tan sintéticas. Pero nada de eso opaca lo maravilloso de lo que aquí se ha logrado.

El material para hablar de este artículo incluye un tercer audio que es aún más sorprendente. En este caso, el mismo fragmento del tema de Pink Floyd es reconstruido en base únicamente a la alimentación de los modelos no lineales con la información de 61 electrodos de un único oyente del tema.

La pueden escuchar aquí:

Las diferencias entre el segundo y el tercer audio son sutiles, pero nos muestran que el registro de la actividad neuronal de un individuo permitiría acceder a qué canción ha escuchado.

¿Y todo esto a dónde nos lleva?

Tras oír las recreaciones de las canciones, tras entender el trabajo, lo que es y lo que no, viene entonces el tiempo de pensar en el futuro. Lejos de asustarnos, los investigadores en el artículo dan algunas pistas de por dónde podría seguir este asunto.

“La organización anatomofuncional reportada en este estudio puede tener implicaciones clínicas para pacientes con trastornos del procesamiento auditivo”, señalan Bellier y colegas. “Por ejemplo, los resultados de la percepción musical podrían contribuir al desarrollo de un decodificador auditivo general que incluya los elementos prosódicos del habla basándose en relativamente pocos electrodos bien ubicados”, proponen. Porque, claro, en el habla también hay elementos musicales implicados. Esto aquí reportado podría ayudar en un futuro a algunas personas.

Al respecto de los resultados obtenidos al reconstruir la canción usando solamente 61 electrodos de un individuo, sostienen que eso “muestra la viabilidad de este enfoque de reconstrucción de estímulos en un entorno clínico y sugiere que las futuras aplicaciones de interfases computadora-cerebro deberían apuntar a los sitios de implantación en las circunvoluciones temporales superiores junto con la localización funcional en lugar de depender únicamente de una gran cantidad de electrodos”.

“Limitamos nuestra investigación al espectrograma auditivo en el lado del estímulo y a la actividad de alta frecuencia en el lado de la actividad neuronal, dado el complejo diseño del estudio que abarca varios análisis de orden superior basados en modelos de codificación y decodificación”, también reconocen hacia el final del artículo. “Los estudios futuros deberían explorar diferentes representaciones de orden superior de la información musical en el cerebro auditivo (es decir, notas, acordes, partituras), así como las bandas oscilatorias neuronales inferiores y los componentes espectrales (por ejemplo, potencia theta, alfa y beta, componente aperiódico), conocidas por representar información acústica relevante, agregando otro ladrillo en la pared de nuestra comprensión del procesamiento de la música en el cerebro humano”, señalan los autores, en el que es el único juego de palabras al respecto del tema que hay en todo el trabajo científico (lo que no descarta que otras alusiones hayan sido quitadas durante el proceso de revisión).

Más allá de cualquier posible aplicación presente o futura, aclarando que nadie está pensando usar la información que dan nuestras neuronas para que cuenten cosas que nosotros tal vez preferiríamos no contar -menos aún cuando esa información fue tomada en tiempo real mientras las personas hacían esas cosas y con una metodología compleja-, lo fascinante de todo esto es sentir que, ladrillo a ladrillo, nuestro cerebro se va conociendo mejor a sí mismo.

Artículo: Music can be reconstructed from human auditory cortex activity using nonlinear decoding models
Publicación: PLOS Biology (agosto de 2023)
Autores: Ludovic Bellier, Anaïs Llorens, Déborah Marciano, Aysegul Gunduz, Gerwin Schalk, Peter Brunner y Robert Knight.