Voyager : L'Agent d'Intelligence Artificielle qui Évolue en Continu dans Minecraft

L'intelligence artificielle (IA) a fait des progrès remarquables ces dernières années, avec des avancées significatives dans des domaines tels que l'apprentissage automatique, l'apprentissage profond et l'apprentissage par renforcement. Un domaine particulièrement intéressant est celui des agents d'apprentissage à vie, qui sont capables d'apprendre et de s'adapter continuellement à leur environnement. Un exemple récent de cette technologie est Voyager, un agent d'apprentissage à vie dans le jeu vidéo Minecraft, développé par une équipe de chercheurs de Caltech, de l'Université du Texas à Austin, de Stanford et de l'Université d'État de l'Arizona.

Voyager : Un agent d'apprentissage à vie

Voyager est le premier agent d'apprentissage à vie alimenté par un grand modèle de langage (LLM) qui explore continuellement le monde, acquiert diverses compétences et fait de nouvelles découvertes sans intervention humaine. Voyager se compose de trois composants clés :

1. Un curriculum automatique qui maximise l'exploration.
2. Une bibliothèque de compétences en constante croissance pour stocker et récupérer des comportements complexes.
3. Un nouveau mécanisme d'invite itératif qui intègre les commentaires de l'environnement, les erreurs d'exécution et l'auto-vérification pour l'amélioration du programme.

Voyager interagit avec GPT-4 via des requêtes en boîte noire, ce qui élimine le besoin d'un réglage fin des paramètres du modèle. Les compétences développées par Voyager sont temporellement étendues, interprétables et compositionnelles, ce qui accélère rapidement les capacités de l'agent et atténue l'oubli catastrophique.

Expériences et résultats

Voyager a été évalué sur sa performance d'exploration, sa maîtrise de l'arbre technologique, sa couverture de la carte et sa capacité de généralisation à zéro coup à de nouvelles tâches dans un nouveau monde. Voyager a montré une forte capacité d'apprentissage à vie en contexte et a démontré une compétence exceptionnelle dans le jeu Minecraft. Il obtient 3,3 fois plus d'objets uniques, parcourt des distances 2,3 fois plus longues et débloque des étapes clés de l'arbre technologique jusqu'à 15,3 fois plus rapidement que l'état de l'art précédent.

Conclusion

Voyager est un point de départ pour développer des agents généralistes puissants sans ajuster les paramètres du modèle. Il démontre le potentiel des agents d'apprentissage à vie et ouvre la voie à de nouvelles recherches et développements dans ce domaine passionnant de l'IA.

Pour plus d'informations sur Voyager et les recherches en cours, vous pouvez consulter le document de recherche complet.