Llama Hub : une bibliothèque de chargeurs de données pour LlamaIndex et LangChain

Decrypt -

À propos de LlamaHub

LlamaHub est une bibliothèque regroupant des chargeurs de données pour les modèles de langage (LLMs), créée par la communauté. Elle est conçue pour être utilisée avec LlamaIndex et LangChain, facilitant ainsi la connexion des modèles de langage à diverses sources de connaissances. LlamaHub propose des chargeurs pour lire et analyser des fichiers tels que Google Docs, bases de données SQL, fichiers PDF, présentations PowerPoint, Notion, Slack, Obsidian et bien d'autres.

Site de Llama Hub
Présentation de Llama Hub

Utilisation de LlamaHub

Les chargeurs de LlamaHub sont conçus pour être utilisés avec LlamaIndex et LangChain, permettant de charger facilement des données dans ces outils. Vous pouvez les utiliser en téléchargeant le chargeur souhaité depuis LlamaIndex avec une seule ligne de code. Par exemple, le code ci-dessous montre comment utiliser le chargeur Google Docs avec LlamaIndex et LangChain.

Ajouter un chargeur à LlamaHub

Pour ajouter un chargeur à LlamaHub, il suffit de créer un fork de ce dépôt et de soumettre une Pull Request. Voici les étapes à suivre pour ajouter un chargeur :

  1. Créez un nouveau répertoire dans loader_hub pour votre chargeur, avec un nom unique. Ajoutez-y un fichier __init__.py vide, un fichier base.py contenant l'implémentation de votre chargeur et, si nécessaire, un fichier requirements.txt listant les dépendances de votre chargeur.
  2. Rédigez un fichier README.md pour votre chargeur, en expliquant ce qu'il fait, ses entrées et comment il est utilisé dans le contexte de LlamaIndex et LangChain.
  3. Ajoutez votre chargeur au fichier loader_hub/library.json pour qu'il puisse être utilisé par d'autres. Incluez le nom de classe de votre chargeur, son identifiant, l'auteur, etc.
  4. Créez une Pull Request ! Les PR sont généralement examinées dans la journée.

FAQ

  • Comment tester mon chargeur avant qu'il ne soit fusionné ? Vous pouvez modifier l'argument loader_hub_url dans la fonction download_loader pour pointer vers votre branche ou fork afin de tester votre nouveau chargeur.
  • Dois-je créer une PR pour LlamaHub ou directement pour le dépôt LlamaIndex ? Par défaut, créez une PR pour LlamaHub si vous avez un chargeur de données. Les PR concernant LlamaIndex doivent être créées directement pour le dépôt LlamaIndex.
  • Pour toute autre question, n'hésitez pas à rejoindre le Discord de la communauté ou à contacter le compte Twitter officiel.
Site de Llama Hub