Dromedary : le modèle de langage auto-aligné avec une supervision humaine minimale

Introduction

Dromedary est un modèle de langage auto-aligné open-source entraîné avec une supervision humaine minimale. Pour plus de détails et d'informations, consultez la page du projet et l'article scientifique associé.

Méthodologie

L'approche SELF-ALIGN repose sur quatre étapes principales :

1. Génération de prompts synthétiques : Utilisation d'un LLM (modèle de langage à grande échelle) pour générer des prompts synthétiques et une méthode guidée par les sujets pour augmenter la diversité des prompts.
2. Guidage par les principes : Utilisation d'un petit ensemble de principes rédigés par des humains pour les modèles d'IA à suivre, et guidage du LLM à travers un apprentissage en contexte pour produire des réponses utiles, éthiques et fiables.
3. Auto-alignement : Fine-tuning du LLM original avec les réponses auto-alignées de haute qualité afin que le modèle résultant puisse générer des réponses souhaitables pour chaque requête directement, sans l'ensemble de principes et les démonstrations.
4. Affinement : Étape de raffinement pour résoudre les problèmes de réponses trop brèves ou indirectes.

En appliquant SELF-ALIGN au modèle de base LLaMA-65b, les chercheurs ont développé un assistant IA nommé Dromedary. Avec moins de 300 lignes d'annotations humaines, Dromedary surpasse plusieurs systèmes IA de pointe, tels que Text-Davinci-003 et Alpaca, sur des ensembles de données de référence avec différents paramètres.

Ressources disponibles

Le code, les poids LoRA de Dromedary et les données d'entraînement synthétiques ont été mis à disposition en open-source pour encourager la recherche sur l'alignement des agents IA basés sur LLM avec une meilleure efficacité de supervision, des biais réduits et une meilleure contrôlabilité.

Conclusion

Le projet Dromedary démontre comment un modèle de langage auto-aligné peut être entraîné avec une supervision humaine minimale pour offrir des réponses utiles, éthiques et fiables aux requêtes des utilisateurs. L'approche SELF-ALIGN ouvre la voie à de nouvelles avancées dans le domaine des assistants IA et des modèles de langage à grande échelle.