Cómo hacer que la IA cante una canción

Canciones con la IA

En estos días, la canción que está generando un alboroto en Internet es «Heart on My Sleeve«, una colaboración entre Drake y The Weeknd que resulta casi imposible de hallar en los canales convencionales. Sorprendentemente, no está presente en el catálogo de Spotify, y Youtube prohíbe su inclusión en cualquier vídeo. Además, las principales redes sociales bloquean de manera sistemática a quienes intentan compartirla, todo esto a petición de Universal Music Group, el sello discográfico de ambos artistas.

La peculiaridad de la situación radica en que la canción nunca existió físicamente; aunque suene exactamente como se esperaría de una colaboración entre estos dos talentosos músicos, en realidad, es una creación de Ghostwriter977 utilizando inteligencia artificial.

El fenómeno reciente ha activado todas las alertas en la industria discográfica, que durante meses ha estado observando de cerca el crecimiento de estas creaciones digitales. Estas son canciones que incorporan las voces de figuras reconocidas como Jay-Z, Bad Bunny o Eminem, pero que en realidad nunca fueron grabadas por estos artistas. Aunque ninguna de ellas había alcanzado el impacto viral de «Heart on My Sleeve» hasta el momento, los expertos sabían que era solo cuestión de tiempo.

En esta era de herramientas de inteligencia artificial fácilmente accesibles, cualquier individuo con un poco de paciencia y dedicación puede componer una canción con todos los elementos necesarios para triunfar, incluso utilizando las voces de sus artistas favoritos.

Voces mediante la IA

En el corazón de este fenómeno se encuentra un programa de nombre intrincado y recientemente lanzado, SoVitsSvc. Su función se asemeja a la de los conocidos deepfakes, pero en lugar de manipular rostros en videos, trabaja con voces. Partiendo de una pista vocal existente, este programa puede generar una nueva imitando el estilo de cualquier artista, ya sea la voz distintiva de Drake y The Weeknd, Frank Sinatra, Taylor Swift o incluso Kurt Cobain.

El proceso de entrenamiento del sistema es bastante accesible. Basta con proporcionar pistas vocales del artista deseado, las cuales pueden extraerse de canciones ya publicadas mediante aplicaciones de extracción que aislan las voces del resto de los instrumentos, siendo estas herramientas fáciles de utilizar. SoVitsSvc, una herramienta de código abierto y gratuita, se encarga del resto, ofreciendo la posibilidad de ejecutarse en ordenadores de prestaciones medias. Incluso para aquellos sin habilidades técnicas, hay versiones automatizadas disponibles en diversos grupos de Discord o sitios web que ya cuentan con voces preentrenadas de reconocidos artistas, como el caso de Superdub.co.

Esta técnica ya ha sido empleada en varias ocasiones. Por ejemplo, el grupo británico Breezer lanzó un álbum influenciado por Oasis, pero sin mucho éxito. El cantante, Bobby Geraghty, descubrió SoVitsSvc y decidió incorporar la voz de Liam Gallagher en las canciones de Breezer, dando lugar al álbum AISIS, disponible en Youtube, que suena como una grabación perdida de Oasis en los años 90. Incluso el DJ David Guetta recurrió a una herramienta similar en febrero de este año para agregar pistas de voz que parecían ser de Eminem en una de sus actuaciones en vivo, revelando que el proceso de entrenamiento del sistema fue sorprendentemente sencillo.

Arduo trabajo

La aparente maravilla de «Heart on My Sleeve» se desvanece cuando se sugiere que la canción fue creada de manera sencilla mediante la solicitud a una herramienta de inteligencia artificial similar a ChatGPT de «una canción de hip-hop con las voces de Drake y The Weeknd«. Sin embargo, la verdad es mucho más intrincada. Aunque SoVitsSvc puede generar las pistas vocales, Ghostwriter977 ha construido el resto de la canción de manera convencional, probablemente como un productor musical o alguien familiarizado con las herramientas de edición y el estilo característico de los productores de The Weeknd y Drake.

Aunque existen inteligencias artificiales generativas capaces de crear canciones a partir de descripciones de texto, los resultados aún no son muy persuasivos, similar al caso de la generación de videos. Para lograr un éxito como «Heart on My Sleeve«, se necesita seguir un proceso no muy diferente al que se seguiría si Drake y The Weeknd decidieran colaborar. Este enfoque es evidente en la mayoría de las canciones con voces generadas por IA que han surgido recientemente gracias a SoVitsSvc, siendo versiones de canciones ya existentes, como Kanye West interpretando «Poker Face» o Michael Jackson cantando «Get Lucky«. Aunque los resultados son más convincentes cuando las voces originales y las imitadas son similares, la IA se adapta sorprendentemente bien a cualquier voz.

No obstante, esta técnica plantea un debate complejo sobre los derechos de autor y la posibilidad de explotar comercialmente estas creaciones. Mientras que David Guetta descartó lanzar comercialmente su actuación con la voz de Eminem, la cantante Grimes ha tomado una postura diferente, anunciando que permitirá a cualquier persona usar su voz en proyectos musicales, pero exigiendo el 50% de los royalties, en línea con cualquier otra colaboración.