Fuite de document chez Google : Les modèles open source vont surpasser Google et OpenAI

Une fuite d'un document interne de Google révèle que l'Intelligence Artificielle (IA) open source devrait rapidement surpasser les plateformes propriétaires comme Google et OpenAI.

L'émergence des modèles IA open source

Selon le document, l'IA open source progresse de manière impressionnante, et les modèles propriétaires tels que ceux de Google et OpenAI ne pourront plus rivaliser. La fuite indique que les modèles open source sont plus rapides, plus personnalisables, plus privés et plus performants. De plus, ils sont disponibles à un coût bien inférieur à celui des géants comme Google. Certains exemples comprennent :

• Des modèles linguistiques massivement multitâches (LLMs) pouvant être exécutés sur un smartphone à une vitesse de 5 tokens par seconde.
• Des IA personnalisables en une soirée à l'aide d'un ordinateur portable.
• Des modèles d'art sans aucune restriction disponible sur des sites web.
• Des fonctionnalités multimodales avancées.

Le document révèle également que ces améliorations incroyables sont le résultat d'une coopération et d'une innovation constante entre la communauté scientifique et les chercheurs indépendants.

Conséquences pour les acteurs en IA

Cette progression spectaculaire de l'IA open source a des implications sérieuses pour les acteurs tels que Google et OpenAI. Le document indique que ces entreprises ne pourront plus maintenir leur position face à l'évolution rapide des technologies ouvertes. Il est donc suggéré que Google et OpenAI devraient réévaluer leurs stratégies et envisager de collaborer avec l'écosystème open source.

En outre, le document souligne que Google et OpenAI ne disposent pas d'un avantage concurrentiel secret. Le meilleur espoir serait de partager les connaissances et de tirer parti de l'expertise de la communauté open source pour améliorer la qualité et la rapidité de leur IA.

La nécessité d'un changement de posture pour Google et OpenAI

Le document recommande que Google et OpenAI adoptent une approche plus ouverte et coopérative, en mettant l'accent sur l'intégration dans l'écosystème open source. Un changement de stratégie vers une concentration sur l'open source peut permettre à ces entreprises de rester compétitives et de bénéficier de l'innovation constante de la communauté open source.

En conclusion, ce document interne de Google soulève des points de réflexion importants sur l'avenir de l'IA et la manière dont les entreprises doivent s'adapter au paysage en constante évolution. Dans tous les cas, il est sûr de dire que l'IA open source jouera un rôle de plus en plus important dans les années à venir.

Chronologie des événements

LLaMA : une révolution dans l'intelligence artificielle

24 février 2023 - Meta lance LLaMA en open-source, offrant un accès public au code, mais pas aux poids. À ce stade, LLaMA n'est pas encore conçu pour des conversations ou des instructions.

Fuite de LLaMA et conséquences pour la communauté

3 mars 2023 - LLaMA est divulgué au public, ce qui a un impact considérable sur la communauté. Les licences existantes interdisent une utilisation commerciale, mais tout le monde peut désormais expérimenter avec ce modèle.

LLaMA sur un Raspberry Pi

12 mars 2023 - Artem Andreenko parvient à faire fonctionner le modèle sur un Raspberry Pi. Bien que trop lent pour être pratique, cela ouvre la voie à une série d'efforts de miniaturisation.

Fine-tuning sur un ordinateur portable

13 mars 2023 - Stanford publie Alpaca, qui ajoute l'instruction tuning à LLaMA. Grâce au repo alpaca-lora d'Eric Wang, il est désormais possible de fine-tuner le modèle rapidement et à moindre coût.

LLaMA fonctionne rapidement sur un MacBook

18 mars 2023 - Georgi Gerganov utilise une quantification à 4 bits pour faire fonctionner LLaMA sur un CPU de MacBook. C'est la première solution sans GPU suffisamment rapide pour être pratique.

Llama CPP : l’alternative à ChatGPT qui tourne dans votre MacBook

Description générale Llama CPP est un outil permettant d’exécuter des modèles de langage tels que LLaMA, Alpaca et GPT4All en C/C++ pur. Il est optimisé pour les processeurs Apple Silicon via ARM NEON et le framework Accelerate, avec un support AVX2 pour les architectures x86. L’outil fonctionne su…

PandIADecrypt

Un modèle de 13B atteint la "parité" avec Bard

19 mars 2023 - Une collaboration inter-universitaire publie Vicuna, qui surpasse les variantes précédentes pour un coût de formation de seulement 300 dollars.

StableVicuna : Le premier chatbot LLM RLHF open source

StableVicuna est le premier chatbot LLM (Large Language Model) open source à grande échelle entraîné via un apprentissage renforcé à partir des retours humains (Reinforcement Learning from Human Feedback - RLHF). Site de Vicuna Contexte Récemment, il y a eu une poussée significative dans le déve…

PandIADecrypt

GPT4All : un écosystème de modèles

25 mars 2023 - Nomic crée GPT4All, un écosystème rassemblant différents modèles, dont Vicuna, pour un coût de formation de 100 dollars.

GPT4All Chat : l’interface utilisateur pour GPT4All

GPT4All Chat est une interface utilisateur basée sur Qt permettant d’accéder aux différentes versions de GPT4All, en utilisant GPT-J comme modèle de base. Cette interface est multiplateforme et compatible avec les systèmes d’exploitation majeurs tels que Linux, Windows et MacOSX. Site de GPT4All…

PandIADecrypt

L'open source GPT-3 de Cerebras

28 mars 2023 - Cerebras entraîne l'architecture GPT-3 en utilisant le programme de calcul optimal de Chinchilla et le scaling optimal de μ-paramétrisation. Ces modèles surclassent largement les clones de GPT-3 existants.

Entraînement multimodal en une heure

28 mars 2023 - Grâce à la technique PEFT, LLaMA-Adapter introduit l'instruction tuning et la multimodalité en une heure de formation seulement, avec seulement 1,2 million de paramètres apprenables.

Difficile de distinguer un modèle ouvert de 13B de ChatGPT

3 avril 2023 - Berkeley lance Koala, un modèle de dialogue entraîné entièrement à partir de données librement disponibles. Les utilisateurs préfèrent Koala ou n'ont aucune préférence dans plus de 50 % des cas, comparativement à ChatGPT.

Open Source RLHF au niveau de ChatGPT

15 avril 2023 - Open Assistant lance un modèle et un ensemble de données pour l'alignement via RLHF. Leur modèle est très proche de ChatGPT en termes de préférence humaine. Grâce à cet ensemble de données, il est désormais facile et peu coûteux pour les petits expérimentateurs d'accéder à la technique RLHF. De plus, comme l'ensemble de données est accessible au public, il est possible d'utiliser une pile entièrement ouverte pour exécuter le modèle avec Pythia-12B.

Conclusion

En l'espace de quelques mois, l'intelligence artificielle a connu une série de développements majeurs grâce à LLaMA et aux projets qui en découlent. Ces avancées ont rendu les modèles d'IA plus accessibles, moins coûteux et plus performants, ouvrant ainsi la voie à une myriade d'applications et d'innovations. Les modèles open-source tels que Koala et GPT4All offrent désormais des alternatives crédibles à des solutions propriétaires comme ChatGPT, contribuant à démocratiser l'accès à l'IA et à stimuler la recherche dans ce domaine.