Stable Diffusion peut désormais tourner dans un navigateur sans serveur
Stable Diffusion, une technologie permettant la création automatique d'images photoréalistes et de styles variés basée sur des entrées textuelles, peut désormais être exécutée directement dans les navigateurs web sans avoir besoin de serveurs. Cette avancée révolutionnaire a été rendue possible grâce à l'évolution des technologies et des écosystèmes matériels et logiciels.
Le projet
Le projet vise à exécuter des modèles de Stable Diffusion dans les navigateurs web, sans nécessiter de support serveur. Cette réalisation est rendue possible grâce à des technologies telles que WebAssembly et WebGPU, qui permettent de porter des runtimes de bas niveau sur le web et d'exécuter des calculs GPU natifs dans le navigateur. Les bénéfices potentiels comprennent une réduction des coûts pour les fournisseurs de services, une amélioration de la personnalisation et de la protection de la vie privée, ainsi qu'une exploitation de la puissance croissante des ordinateurs personnels et des appareils mobiles.
Défis et solutions
Plusieurs défis doivent être surmontés pour réaliser ce projet. Tout d'abord, les modèles d'intelligence artificielle doivent être adaptés aux environnements sans les frameworks GPU-accelérés de Python. Ensuite, l'utilisation de la mémoire doit être planifiée avec soin pour que les modèles puissent tenir en mémoire. Enfin, il est essentiel de créer un processus de développement et de déploiement répétable et modulable.
Le projet s'appuie sur un ensemble de technologies open-source, notamment PyTorch, Hugging Face, Rust, wasm et WebGPU. L'architecture principale est basée sur Apache TVM Unity, qui permet un développement interactif en Python pour déployer les modèles d'IA sur le web.
Comparaison avec les environnements natifs
En plus du runtime WebGPU, le projet propose également des options de déploiement natif avec des runtimes GPU locaux. Ces options peuvent servir de référence pour comparer les performances entre les environnements natifs et WebGPU.
Actuellement, le projet est en phase de développement, et WebGPU n'est disponible que sur Chrome Canary, avec certaines limitations et instabilités. Cependant, les améliorations futures de WebGPU et la maturation de l'écosystème pourraient permettre d'atteindre des performances similaires à celles des environnements natifs.
Conclusion
Le projet permettant d'exécuter des modèles de Stable Diffusion directement dans les navigateurs web sans serveur est une avancée majeure dans le domaine de l'intelligence artificielle. En tirant parti des évolutions technologiques et des écosystèmes matériels et logiciels, il ouvre la voie à des applications web plus performantes, personnalisables et respectueuses de la vie privée.
