OpenLLM : Une plateforme ouverte pour les grands modèles de langage

OpenLLM est une plateforme ouverte conçue pour faciliter l'utilisation des grands modèles de langage (LLM) en production. Elle offre la possibilité d'affiner, de servir, de déployer et de surveiller n'importe quel LLM avec facilité.

Introduction

OpenLLM permet d'exécuter des inférences avec n'importe quel grand modèle de langage open-source, de le déployer dans le cloud ou sur site, et de construire des applications d'intelligence artificielle puissantes. Il offre un support intégré pour une large gamme de LLM open-source et de runtimes de modèles, y compris StableLM, Falcon, Dolly, Flan-T5, ChatGLM, StarCoder et bien d'autres.

Fonctionnalités

OpenLLM offre des API flexibles qui permettent de servir des LLM via une API RESTful ou gRPC avec une seule commande. Il offre également une intégration de premier ordre avec LangChain, BentoML et HuggingFace, ce qui permet de créer facilement des applications d'IA en combinant des LLM avec d'autres modèles et services.

OpenLLM est conçu pour la vitesse et l'évolutivité. Il peut générer automatiquement des images Docker pour votre serveur LLM ou le déployer en tant que point de terminaison sans serveur via BentoCloud. Il offre également la possibilité d'affiner n'importe quel LLM pour répondre à vos besoins avec LLM.tuning().

Démarrage rapide

Pour utiliser OpenLLM, vous devez avoir Python 3.8 (ou une version plus récente) et pip installés sur votre système. OpenLLM peut être installé en utilisant pip. Une fois installé, vous pouvez démarrer un serveur LLM en utilisant la commande openllm start. Par exemple, pour démarrer un serveur dolly-v2, vous pouvez utiliser la commande openllm start dolly-v2.

Pour vérifier s'il a été installé correctement, exécutez :

$ openllm -h

Usage: openllm [OPTIONS] COMMAND [ARGS]...

   ██████╗ ██████╗ ███████╗███╗   ██╗██╗     ██╗     ███╗   ███╗
  ██╔═══██╗██╔══██╗██╔════╝████╗  ██║██║     ██║     ████╗ ████║
  ██║   ██║██████╔╝█████╗  ██╔██╗ ██║██║     ██║     ██╔████╔██║
  ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║██║     ██║     ██║╚██╔╝██║
  ╚██████╔╝██║     ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║
   ╚═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝╚══════╝╚══════╝╚═╝     ╚═╝

  An open platform for operating large language models in production.
  Fine-tune, serve, deploy, and monitor any LLMs with ease.

Intégration de nouveaux modèles

OpenLLM encourage les contributions en permettant aux utilisateurs d'intégrer leurs propres LLM dans l'écosystème. Vous pouvez consulter le guide "Ajouter un nouveau modèle" pour voir comment vous pouvez le faire vous-même.

Déploiement en production

Pour déployer vos LLM en production, vous pouvez facilement construire un Bento pour un modèle spécifique en utilisant la commande build. Vous pouvez ensuite containeriser votre Bento en utilisant la commande bentoml containerize.

Communauté

OpenLLM est activement maintenu par l'équipe BentoML. Vous pouvez rejoindre la communauté sur Discord pour échanger avec des personnes partageant les mêmes idées et passionnées par les LLM, l'IA et bien plus encore.