Lancement de StableLM par Stability AI: une nouvelle génération de modèles de langage open-source

Présentation de StableLM

Aujourd'hui, Stability AI a annoncé la sortie de StableLM, un nouveau modèle de langage open-source. La version Alpha du modèle est disponible en 3 milliards et 7 milliards de paramètres, les modèles de 15 milliards à 65 milliards de paramètres seront lancés prochainement. Les développeurs peuvent librement inspecter, utiliser et adapter les modèles de base StableLM à des fins commerciales ou de recherche, sous réserve des conditions de la licence CC BY-SA-4.0.

Contexte : Stable Diffusion et partenariat avec EleutherAI

En 2022, Stability AI a lancé Stable Diffusion, un modèle d'image révolutionnaire offrant une alternative transparente, ouverte et évolutive aux IA propriétaires. Avec le lancement de la suite de modèles StableLM, Stability AI continue de rendre accessible la technologie de base de l'IA à tous. Les modèles StableLM peuvent générer du texte et du code et alimenteront une gamme d'applications en aval. Ils démontrent comment des modèles petits et efficaces peuvent offrir des performances élevées avec une formation appropriée.

Cette sortie s'appuie sur l'expérience acquise dans l'open-sourcing des modèles de langage précédents en collaboration avec EleutherAI, un centre de recherche à but non lucratif. Ces modèles de langage comprennent GPT-J, GPT-NeoX et la suite Pythia, qui ont été formés sur le jeu de données open-source The Pile.

Des performances étonnantes malgré une taille réduite

StableLM est entraîné sur un nouveau jeu de données expérimental basé sur The Pile, mais trois fois plus grand avec 1,5 billion de tokens de contenu. La richesse de ce jeu de données confère à StableLM des performances élevées dans les tâches de conversation et de codage, malgré sa petite taille de 3 à 7 milliards de paramètres (en comparaison, GPT-3 compte 175 milliards de paramètres).

Modèles de recherche avec fine-tuning par instruction

En plus des modèles de base, Stability AI lance également une série de modèles de recherche qui sont affinés par instruction. Initialement, ces modèles affinés utiliseront une combinaison de cinq jeux de données open-source récents pour les agents conversationnels : Alpaca, GPT4All, Dolly, ShareGPT et HH. Ces modèles affinés sont destinés uniquement à la recherche et sont publiés sous une licence non commerciale CC BY-NC-SA 4.0, conforme à la licence Alpaca de Stanford.

Engagements de Stability AI

Stability AI s'engage à développer une technologie d'IA transparente, accessible et de soutien :

Transparente : les modèles sont open-source pour promouvoir la transparence et susciter la confiance. Les chercheurs peuvent vérifier les performances, travailler sur des techniques d'interprétabilité, identifier les risques potentiels et aider à développer des protections.
Accessible : les modèles sont conçus pour l'edge computing afin que les utilisateurs puissent les exécuter sur des appareils locaux. Les développeurs peuvent créer des applications indépendantes compatibles avec le matériel largement disponible sans avoir à dépendre de services propriétaires d'une ou deux entreprises.
De soutien : Stable AI focalise sur l'efficacité, la spécialisation et la performance pratique, sans poursuivre une quête d'intelligence quasi-divine. Les outils développés ont pour but d'aider les utilisateurs à déployer leur créativité, améliorer leur productivité et ouvrir de nouvelles opportunités économiques.

Ressources et opportunités

Les modèles sont disponibles dans le référentiel GitHub de Stability AI. Un rapport technique complet sera publié prochainement. L'équipe de Stability AI cherche à se développer et invite toute personne passionnée par la démocratisation de l'accès à cette technologie et ayant de l'expérience dans les LLM à postuler pour rejoindre leur équipe.