Llama-2 de Meta : un pas vers l'open source dans le domaine des LLMs"
La nouvelle sensationnelle de la semaine, c'est la mise en open source de Llama-v2, une nouvelle génération de grands modèles de langage (LLM), dotée d'une licence qui autorise l'utilisation commerciale. Ce changement va bouleverser le paysage du marché des LLM.
Llama-v2 est disponible sur Microsoft Azure et sera bientôt disponible sur AWS, Hugging Face et d'autres fournisseurs.
Les modèles pré-entraînés et affinés sont disponibles avec 7B, 13B et 70B paramètres.
Introduction à Llama-2
Il s'agit de la prochaine génération de nos grands modèles de langage en open source. Llama 2 est disponible gratuitement pour la recherche et l'utilisation commerciale.
Dans les détails du modèle
Cette version comprend les poids des modèles et le code de départ pour les modèles de langage Llama pré-entraînés et affinés, allant de 7B à 70B paramètres.
Les modèles pré-entraînés de Llama 2 sont formés sur 2 billions de tokens et ont le double de la longueur de contexte que Llama 1. Ses modèles affinés ont été formés sur plus de 1 million d'annotations humaines.
Performance de Llama 2
Llama 2 surpasse les autres modèles de langage en open source sur de nombreux benchmarks externes, y compris les tests de raisonnement, de codage, de compétence et de connaissance.
Llama 2 a été pré-entraîné sur des sources de données en ligne publiquement disponibles. Le modèle affiné, Llama-2-chat, exploite des ensembles de données d'instruction publiquement disponibles et plus de 1 million d'annotations humaines.
Attention aux détails de la licence open source de Llama-2
Il est important de noter que malgré le caractère attrayant et révolutionnaire de cette mise en open source, la licence de Llama-2 contient des restrictions spécifiques qui peuvent limiter son utilisation.
Des termes commerciaux supplémentaires stipulent que si, à la date de publication de la version Llama 2, les utilisateurs actifs mensuels des produits ou services rendus disponibles par ou pour le Licencié, ou les affiliés du Licencié, dépassent 700 millions d'utilisateurs actifs mensuels dans le mois calendaire précédent, il faut demander une licence à Meta. Cette licence peut être accordée à la discrétion de Meta, et aucun des droits accordés par cet accord ne peut être exercé à moins que Meta n'accorde expressément ces droits.
Ainsi, il convient de rappeler que bien que Llama-2 soit décrit comme "open source", son utilisation pour de grandes entités commerciales est en réalité soumise à des restrictions importantes. Il est donc recommandé de lire attentivement et de comprendre tous les détails de la licence avant de l'intégrer dans un projet commercial d'envergure.
Partenariats autour de Llama-2
Cette initiative a recueilli un large éventail de supporters à travers le monde qui croient en notre approche ouverte de l'IA d'aujourd'hui : des entreprises qui ont donné des retours précoces et sont enthousiastes à l'idée de construire avec Llama 2, des fournisseurs de cloud qui incluront le modèle dans leur offre aux clients, des chercheurs engagés à faire des recherches avec le modèle, et des personnes à travers la technologie, l'université et la politique qui voient les avantages de Llama et d'une plate-forme ouverte comme nous.
"Nous soutenons une approche d'innovation ouverte à l'IA. L'innovation responsable et ouverte nous donne à tous un enjeu dans le processus de développement de l'IA, apportant visibilité, examen et confiance à ces technologies. L'ouverture des modèles Llama d'aujourd'hui permettra à tout le monde de bénéficier de cette technologie."
Engagements pour une utilisation responsable de Llama-2
Pour promouvoir un écosystème d'innovation en IA responsable et collaboratif, une série de ressources a été mise en place pour tous ceux qui utilisent Llama 2 : particuliers, créateurs, développeurs, chercheurs, universitaires et entreprises de toutes tailles.
Le Guide d'Utilisation Responsable est une ressource pour les développeurs qui fournit les meilleures pratiques et considérations pour construire des produits alimentés par des grands modèles de langage (LLM) de manière responsable, couvrant diverses étapes de développement de la conception à la mise en œuvre.
Télécharger le modèle
Obtenez Llama 2 maintenant : complétez le formulaire de téléchargement via le lien ci-dessous. En soumettant le formulaire, vous acceptez la politique de confidentialité de Meta.
Résumé
Dans ce travail, nous développons et publions Llama 2, une collection de grands modèles de langage pré-entraînés et affinés (LLM) allant de 7 milliards à 70 milliards de paramètres. Nos LLM affinés, appelés Llama 2-Chat, sont optimisés pour les cas d'utilisation de dialogue. Nos modèles surpassent les modèles de chat en open source sur la plupart des benchmarks que nous avons testés, et selon nos évaluations humaines pour l'utilité et la sécurité, ils peuvent être un substitut approprié pour les modèles fermés. Nous fournissons une description détaillée de notre approche d'affinage et des améliorations de sécurité de Llama 2-Chat afin de permettre à la communauté de s'appuyer sur notre travail et de contribuer au développement responsable des LLM.
Source :