La roadmap d'OpenAI : les plans selon Sam Altman

La semaine dernière, Sam Altman, le président d'OpenAI, a eu une discussion franche avec un journaliste et une vingtaine de développeurs. Lors de cet échange, ils ont discuté des API d'OpenAI et de leurs futurs projets de produits. La conversation a couvert aussi bien les questions pratiques de développement que les questions d'ordre général liées à la mission d'OpenAI et à l'impact sociétal de l'IA. Voici les points essentiels qui ont été dévoilés lors de cette rencontre :

1. OpenAI est fortement limitée par les GPU actuellement

Un thème récurrent au cours de la discussion était que OpenAI est actuellement extrêmement limitée par les GPU, ce qui retarde bon nombre de leurs projets à court terme. La plus grande plainte des clients concernait la fiabilité et la rapidité de l'API. Sam a reconnu leur préoccupation et a expliqué que la plupart des problèmes étaient dus à une pénurie de GPU.

"La plus grande plainte des clients concernait la fiabilité et la rapidité de l'API. Sam a reconnu leur préoccupation et a expliqué que la plupart des problèmes étaient dus à une pénurie de GPU."

Il est impossible de déployer un contexte plus long de 32k à plus de personnes pour le moment. OpenAI n'a pas encore surmonté la mise à l'échelle O(n^2) de l'attention et bien qu'il semble plausible qu'ils aient bientôt (cette année) des fenêtres de contexte de 100k à 1M de tokens, quelque chose de plus grand nécessiterait une percée dans la recherche.

L'API de fine-tuning est également actuellement limitée par la disponibilité des GPU. Ils n'utilisent pas encore de méthodes de fine-tuning efficaces comme Adapters ou LoRa et le fine-tuning est donc très gourmand en calcul pour être exécuté et géré. Un meilleur support pour le fine-tuning viendra dans le futur. Ils pourraient même héberger un marché de modèles contribués par la communauté.

L'offre de capacité dédiée est limitée par la disponibilité des GPU. OpenAI offre également une capacité dédiée, qui fournit aux clients une copie privée du modèle. Pour accéder à ce service, les clients doivent être prêts à s'engager à dépenser 100 000 $ à l'avance.

2. La feuille de route à court terme d'OpenAI

Sam a partagé ce qu'il voyait comme la feuille de route provisoire à court terme d'OpenAI pour l'API.

2023 :

• GPT-4 moins cher et plus rapide : C'est leur priorité absolue. En général, l'objectif d'OpenAI est de réduire "le coût de l'intelligence" autant que possible, ils travailleront donc dur pour continuer à réduire le coût des APIs avec le temps.
• Fenêtres de contexte plus longues : des fenêtres de contexte allant jusqu'à 1 million de tokens sont plausibles dans un futur proche.
• API de fine-tuning : l'API de fine-tuning sera étendue aux derniers modèles mais la forme exacte de cette extension sera déterminée par ce que les développeurs indiquent vouloir vraiment.
• API avec état : Actuellement, lorsque vous appelez l'API de chat, vous devez passer à plusieurs reprises par le même historique de conversation et payer à nouveau pour les mêmes tokens. À l'avenir, il y aura une version de l'API qui se souviendra de l'historique de la conversation.

2024 :

• Multimodalité : Cela a été démontré dans le cadre de la sortie de GPT-4, mais ne peut être étendu à tout le monde qu'après l'arrivée de plus de GPU.

3. Les plugins "n'ont pas de PMF" et ne seront probablement pas intégrés à l'API de sitôt

De nombreux développeurs sont intéressés par l'accès aux plugins ChatGPT via l'API, mais Sam a dit qu'il ne pensait pas qu'ils seraient publiés de sitôt. L'utilisation des plugins, à part pour la navigation, suggère qu'ils n'ont pas encore de PMF. Il a suggéré que beaucoup de gens pensaient vouloir que leurs applications soient à l'intérieur de ChatGPT, mais ce qu'ils voulaient vraiment, c'était ChatGPT dans leurs applications.

4. OpenAI évitera de concurrencer ses clients, à l'exception de ChatGPT

Plusieurs développeurs ont exprimé leur inquiétude quant à l'utilisation des APIs d'OpenAI, craignant qu'OpenAI ne finisse par lancer des produits concurrents. Sam a déclaré que OpenAI ne lancerait pas d'autres produits au-delà de ChatGPT. Il a affirmé qu'il y a une histoire de grandes entreprises de plateforme ayant une application phare et que ChatGPT leur permettra de rendre les APIs meilleures en étant clients de leur propre produit. La vision pour ChatGPT est d'être un super assistant intelligent pour le travail, mais il y aura beaucoup d'autres cas d'utilisation de GPT qu'OpenAI n'abordera pas.

5. Une régulation est nécessaire, mais l'open source l'est aussi

Sam a appelé à une régulation des futurs modèles, mais il ne pense pas que les modèles existants soient dangereux et il pense qu'il serait une grave erreur de les réguler ou de les interdire. Il a réitéré sa croyance en l'importance de l'open source et a déclaré qu'OpenAI envisageait d'open-sourcer GPT-3. Une partie de la raison pour laquelle ils n'ont pas encore ouvert le code source est qu'il est sceptique quant au nombre d'individus et d'entreprises qui auraient la capacité d'héberger et de servir de grands LLMs.

6. Les lois de l'échelle continuent de s'appliquer

Récemment, de nombreux articles ont affirmé que "l'ère des modèles d'IA géants est déjà terminée". Ce n'était pas une représentation précise de ce qui était visé.

Les données internes d'OpenAI suggèrent que les lois d'échelle pour la performance des modèles continuent de s'appliquer et que l'augmentation de la taille des modèles continuera à améliorer les performances. Le taux d'échelle ne peut pas être maintenu car OpenAI a créé des modèles des millions de fois plus grands en seulement quelques années et faire cela à l'avenir ne sera pas durable. Cela ne signifie pas qu'OpenAI ne continuera pas à essayer de rendre les modèles plus grands, cela signifie simplement qu'ils vont probablement doubler ou tripler de taille chaque année plutôt que d'augmenter de plusieurs ordres de grandeur.

Le fait que l'échelle continue de fonctionner a des implications importantes pour les chronologies du développement de l'AGI. L'hypothèse de l'échelle est l'idée que nous avons peut-être déjà la plupart des pièces nécessaires pour construire une AGI et que la majeure partie du travail restant consistera à prendre les méthodes existantes et à les mettre à l'échelle pour des modèles plus grands et des ensembles de données plus importants. Si l'ère de l'échelle était terminée, nous devrions probablement nous attendre à ce que l'AGI soit beaucoup plus éloignée. Le fait que les lois de l'échelle continuent de s'appliquer suggère fortement des chronologies plus courtes.