L'intelligence artificielle et la capacité de raisonner : l'exemple de GPT-4
Introduction
Le modèle GPT-4, introduit en mars 2023, a étonné la communauté technologique par ses avancées considérables par rapport à son prédécesseur, GPT-3.5. Toutefois, malgré ces progrès, sa capacité à raisonner fait débat. Un article récent de Konstantine Arkoudas a mis en lumière certaines limitations fondamentales de GPT-4, arguant qu'il est fondamentalement incapable de raisonner.
Émergence et potentialités de GPT-4
Les LLM (Modèles de Langage à Grande Échelle) tels que GPT-4 sont sans aucun doute révolutionnaires. Leur capacité à construire des abstractions et à faire preuve de créativité a ouvert la voie à une multitude de nouvelles applications passionnantes. Cependant, malgré ces potentialités, leur performance en matière de raisonnement reste limitée. Les LLM, malgré leurs avancées, montrent encore de nombreuses limites lorsqu'il s'agit de résoudre des problèmes de raisonnement complexes.
Débat sur la capacité de raisonnement
La capacité de GPT-4 à raisonner est l'objet d'un débat divisant les enthousiastes des LLM et les sceptiques. D'un côté, les enthousiastes s'appuient sur des "lois" de mise à l'échelle et la croyance que le simple fait d'entraîner un modèle sur d'énormes corpus de données le transformera magiquement en un moteur de raisonnement universel. De l'autre côté, les sceptiques pointent le manque d'un véritable "modèle du monde" au sein des LLM et soulignent la complexité computationnelle du raisonnement.
En effet, raisonner est un problème computationnel difficile. Dans le cas général, il est algorithmiquement indécidable, ce qui signifie qu'aucun algorithme, y compris les LLM, ne peut résoudre de manière fiable et complète des problèmes de raisonnement arbitraires.
Évaluer la capacité à raisonner
Pour évaluer véritablement la capacité de raisonnement d'un système, il est nécessaire de le mettre à l'épreuve. Arkoudas a examiné la performance de GPT-4 sur 21 problèmes de raisonnement simples. Il a évité l'utilisation de corpus existants pour prévenir la contamination des données et a plutôt adopté une approche qualitative.
Il a souligné que les évaluations mécaniques basées sur des choix multiples ou des problèmes de classification binaire sont insuffisantes. Pour évaluer véritablement la capacité de raisonnement, il faut demander au système d'expliquer sa réponse. C'est à travers cette analyse qu'Arkoudas a conclu que GPT-4 est incapable de raisonner.
L'erreur humaine vs l'erreur de l'IA
Il est important de noter que les êtres humains commettent également des erreurs de raisonnement. Cependant, les erreurs commises par GPT-4, telles que rapportées par Arkoudas, sont fondamentales et ne peuvent être comparées aux erreurs innocentes commises par les humains lorsqu'ils sont distraits ou fatigués. Si un humain commettait de telles erreurs, cela indiquerait clairement un manque de compétence logique.
Conclusion
Alors que GPT-4 et les futurs modèles LLM continuent d'impressionner par leurs capacités linguistiques et leur créativité, la question de leur capacité à raisonner de manière autonome et précise reste ouverte. Les débats et les études comme celle de Konstantine Arkoudas sont essentiels pour comprendre les limites et les potentialités de ces modèles, guidant ainsi leur développement et leur utilisation future.