StableVicuna : Le premier chatbot LLM RLHF open source
StableVicuna est le premier chatbot LLM (Large Language Model) open source à grande échelle entraîné via un apprentissage renforcé à partir des retours humains (Reinforcement Learning from Human Feedback - RLHF).
Contexte
Récemment, il y a eu une poussée significative dans le développement et la publication de chatbots. L'expérience utilisateur créée en adaptant les modèles de langage pour le chat est devenue un sujet brûlant. L'émergence d'alternatives en accès libre et open source a encore alimenté cet intérêt.
Environnement actuel des chatbots open source
Le succès de ces modèles de chat est dû à deux paradigmes d'entraînement : l'affinage par instruction et l'apprentissage renforcé par les retours humains (RLHF). Cependant, il manque des modèles en accès libre et open source qui ont les deux paradigmes appliqués.
Présentation du premier chatbot LLM RLHF open source à grande échelle
StableVicuna est une version de Vicuna v0 13b affinée par instruction et entraînée par RLHF. Pour obtenir des performances solides, trois ensembles de données sont utilisés pour l'affinage supervisé (Supervised Fine Tuning - SFT) :
- OpenAssistant Conversations Dataset (OASST1)
- GPT4All Prompt Generations
- Alpaca
Ensuite, trlX est utilisé pour entraîner un modèle de récompense à partir des ensembles de données de préférences RLHF suivants :
- OpenAssistant Conversations Dataset (OASST1)
- Anthropic HH-RLHF
- Stanford Human Preferences (SHP)
Finalement, trlX est utilisé pour effectuer l'apprentissage renforcé par optimisation de la politique proximale (Proximal Policy Optimization - PPO) pour arriver à StableVicuna.
Obtenir StableVicuna-13B
StableVicuna est disponible sur HuggingFace Hub ! Pour obtenir StableVicuna-13B, il faut télécharger le delta des poids à partir de ici et avoir accès au modèle LLaMA original en postulant pour les poids LLaMA.
Interface de chatbot à venir
En plus de notre chatbot, nous prévoyons de lancer prochainement une interface de chat qui est en phase finale de développement.
Engagement envers l'amélioration continue
Dans les semaines à venir, StableVicuna sera amélioré et un bot Discord sera déployé sur le serveur Stable Foundation. Les utilisateurs sont encouragés à essayer StableVicuna et à fournir des retours pour améliorer l'expérience utilisateur. Pour l'instant, vous pouvez essayer le modèle sur un espace HuggingFace en visitant ce lien.
