Une famille fondatrice de la génération d'image locale
Stable Diffusion a joué un rôle majeur dans la démocratisation de la génération d'images exécutée localement.
Son écosystème a fortement participé au développement de pratiques aujourd'hui courantes :
- checkpoints ;
- LoRA ;
- ControlNet ;
- image-to-image ;
- inpainting ;
- interfaces locales ;
- workflows ComfyUI ;
- modèles dérivés.
Plusieurs générations
Stable Diffusion ne correspond pas à un modèle unique.
Plusieurs générations et variantes ont été publiées par Stability AI, avec des architectures, capacités et licences différentes.
Les anciennes générations restent également utilisées dans certains workflows grâce à l'écosystème considérable construit autour d'elles.
Stable Diffusion et les LoRA
L'écosystème Stable Diffusion a largement popularisé la personnalisation des modèles par des techniques comme les LoRA.
Cette approche permet notamment de spécialiser un modèle autour :
- d'un style ;
- d'un personnage ;
- d'une esthétique ;
- d'un sujet.
Stable Diffusion et ComfyUI
ComfyUI permet d'utiliser différentes générations Stable Diffusion dans des workflows entièrement personnalisables.
Cette architecture nodale permet de comprendre de manière très concrète les différentes opérations d'un pipeline de diffusion.
Sources officielles
Stability AI — modèles image :
https://stability.ai/stable-image
Stability AI :
https://stability.ai/
Organisation officielle Hugging Face :
https://huggingface.co/stabilityai