Meta entre dans la course à l'IA générative avec LLaMA

Decrypt -

Sur les traces de Microsoft et Google, Meta se lance enfin sur le marché des modèles linguistiques avec sa propre intelligence artificielle (IA) : LLaMA.

Meta (Facebook) lance LLaMA

La grande bataille qui se joue pour dominer le secteur de l'Intelligence Artificielle a incité les poids lourds de la technologie comme Google, Tencent ou Baidu à dévoiler leurs propres produits.

Depuis le lancement public de ChatGPT par OpenIA (soutenue par Microsoft), tous les géants de l'industrie de la Tech se lancent petit à petit dans la course. Dernière entreprise mondiale en date à révéler son propre modèle de langage : Meta.

La firme de Mark Zuckerberg a fait la lumière sur LLaMA, abréviation de « Large Language Model Meta AI », qu'elle désigne comme suit :

« Un grand modèle de langage fondamental à la pointe de la technologie, conçu pour aider les chercheurs à faire progresser leurs travaux dans ce sous-domaine de l'IA. »

Avant toute chose, il est indispensable de préciser qu'un modèle de langage est un modèle statistique qui détermine, sur la base des termes déjà saisis, les mots qui doivent être employés.

Le modèle LLaMA est donc comparable à GPT-3, le modèle utilisé pour alimenter ChatGPT, ainsi qu'à LaMDA, un autre modèle de langage conçu par Google pour alimenter Bard.

Pour le moment, LLaMA est disponible sous licence non commerciale pour les chercheurs et les entités affiliées au gouvernement, à la société civile et au monde universitaire.

💡 Vous pouvez remplir ce formulaire pour tenter d'accéder à LLaMA

Quelles sont les capacités de LLaMA ?

LLaMA se distingue des autres modèles actuels dans la mesure où il ne traite que 65 milliards de paramètres au maximum. Cela peut paraître énorme, mais c'est bien moins que ses concurrents. Selon Meta, cette dimension plus petite présente des avantages par rapport à ses concurrents :

« Les modèles plus petits, comme LLaMA, sont intéressants dans le monde des très grands modèles car ils nécessitent beaucoup moins de puissance et de ressources informatiques. »

Toujours selon Meta, une moindre taille permettrait donc de démocratiser l'accès aux modèles de langage et d'économiser de la puissance de traitement.

C'est notamment pour cette raison que LLaMA est disponible en plusieurs versions :

  • LLaMA 7B : 7 milliards de paramètres ;
  • LLaMA 13B : 13 milliards de paramètres ;
  • LLaMA 33B : 33 milliards de paramètres ;
  • LLaMA 65B : 65 milliards de paramètres.

Toutefois, selon Meta, cette relative petitesse en termes de paramètres n'empêche pas LLaMA d'être plus performant que d'autres modèles traitant davantage de paramètres :

« LLaMA-13B surpasse GPT-3 sur la plupart des critères, et LLaMA-65B est compétitif avec les meilleurs modèles, Chinchilla 70B [DeepMind] et PaLM-540B [Google] »

Reste maintenant à voir ce que cela vaut réellement dans les mains du public, car LLaMA reste pour le moment réservé qu'à une poignée d'individus.

Source : Meta