Le matériel fait partie du choix du modèle
Lorsqu'un modèle doit être exécuté localement, ses besoins matériels deviennent une partie du workflow.
La quantité de VRAM disponible influence notamment les modèles, les résolutions et les traitements qu'une machine peut exécuter confortablement.
VRAM
La VRAM est la mémoire directement accessible par le GPU.
Elle peut être utilisée pour charger :
- le modèle ;
- les text encoders ;
- le VAE ;
- les LoRA ;
- les données intermédiaires ;
- les images ou latents ;
- différents composants du workflow.
Un pipeline complexe peut donc consommer beaucoup plus de mémoire qu'une génération simple.
La taille du modèle ne dit pas tout
Les besoins réels dépendent également :
- de la précision numérique ;
- de la quantification ;
- de la résolution ;
- du batch ;
- du logiciel ;
- de l'offload ;
- des autres modèles chargés ;
- du type de workflow.
Il est donc risqué de réduire la question à :
combien de VRAM faut-il pour ce modèle ?
La vraie question est :
combien de ressources nécessite mon workflow complet ?
Optimisation
ComfyUI et d'autres environnements proposent différentes stratégies pour adapter le chargement au matériel disponible.
Certaines permettent de réduire l'utilisation de VRAM en échange de vitesse ou d'autres compromis.
Axiris
Lorsque nous documentons un modèle réellement testé, nous pouvons indiquer le matériel utilisé et les conditions du test.
Cela permet de distinguer une exigence théorique d'un retour de production réel.