Meta fait un pas dans la génération de musique avec IA et ouvre le code source de MusicGen

Meta, ne voulant pas être dépassée par Google, a lancé son propre générateur de musique alimenté par l'intelligence artificielle (IA) et a même franchi une étape supplémentaire en le rendant open source.

We present MusicGen: A simple and controllable music generation model. MusicGen can be prompted by both text and melody.
We release code (MIT) and models (CC-BY NC) for open research, reproducibility, and for the music community: https://t.co/OkYjL4xDN7 pic.twitter.com/h1l4LGzYgf

— Felix Kreuk (@FelixKreuk) June 9, 2023

MusicGen: L'outil générateur de musique alimenté par l'IA

L'outil de génération de musique de Meta, appelé MusicGen, a la capacité de transformer une description textuelle (par exemple : "Une chanson pop des années 80 avec de lourds tambours et des synthés en fond") en environ 12 secondes d'audio. Il est même possible de "diriger" MusicGen avec de l'audio de référence, comme une chanson existante, auquel cas il essaiera de suivre à la fois la description et la mélodie.

Meta indique que MusicGen a été formé sur 20 000 heures de musique, incluant 10 000 pistes musicales sous licence "de haute qualité" et 390 000 pistes uniquement instrumentales provenant de ShutterStock et Pond5, une grande bibliothèque de médias en stock. L'entreprise n'a pas fourni le code qu'elle a utilisé pour former le modèle, mais elle a rendu disponibles des modèles pré-formés que toute personne disposant du bon matériel - principalement une GPU avec environ 16 Go de mémoire - peut exécuter.

Les performances de MusicGen

Bien que les créations de MusicGen ne soient pas suffisamment abouties pour remplacer les musiciens humains, les résultats sont plutôt mélodiques, du moins pour des instructions basiques comme "musique chiptunes ambient". Ses performances semblent même légèrement supérieures à celles du générateur de musique AI de Google, MusicLM.

Cependant, les progrès réalisés dans la musique générative (voir Riffusion, Dance Diffusion et Jukebox d'OpenAI) soulèvent des questions éthiques et juridiques importantes qui restent à résoudre. MusicGen, comme d'autres IA de ce genre, "apprend" à partir de musiques existantes pour produire des effets similaires, une réalité avec laquelle tous les artistes - ou utilisateurs d'IA générative - ne sont pas à l'aise.

Un débat juridique en cours

De plus en plus, des morceaux faits maison qui utilisent l'IA générative pour évoquer des sons familiers qui peuvent être présentés comme authentiques, ou du moins suffisamment proches, deviennent viraux. Les labels de musique ont été rapides pour les signaler à leurs partenaires de streaming, invoquant des préoccupations en matière de propriété intellectuelle - et ils ont généralement été victorieux. Cependant, il manque encore de clarté sur le fait de savoir si la musique "deepfake" viole le droit d'auteur des artistes, des labels et d'autres détenteurs de droits.

Il se peut qu'il n'y ait pas longtemps à attendre avant qu'il y ait des directives sur la question. Plusieurs procès en cours pourraient avoir une incidence sur l'IA génératrice de musique, notamment un relatif aux droits des artistes dont l'œuvre est utilisée pour former des systèmes IA sans leur connaissance ou leur consentement.

Pour sa part, Meta, qui n'impose pas de restrictions sur l'utilisation de MusicGen, affirme que toute la musique sur laquelle MusicGen a été formée était "couverte par des accords légaux avec les détenteurs de droits", y compris un accord avec Shutterstock.