Qu'est-ce qu'un LoRA ?
Un LoRA est une méthode permettant d'adapter le comportement d'un modèle sans réentraîner intégralement tous ses paramètres.
Dans la création d'images, cette technique est largement utilisée pour introduire ou renforcer certaines caractéristiques.
Un LoRA peut être consacré à :
- un style ;
- un personnage ;
- un matériau ;
- une esthétique ;
- un vêtement ;
- une famille visuelle ;
- certains comportements particuliers.
Un LoRA dépend du modèle de base
Un LoRA n'est généralement pas un moteur autonome.
Il est conçu pour fonctionner avec une architecture ou une famille de modèles compatible.
Il faut donc connaître :
- le modèle de base ;
- la méthode d'entraînement ;
- le dataset ;
- le trigger éventuel ;
- le poids utilisé ;
- le workflow d'inférence.
Le dataset fait partie du résultat
Chez Axiris, nous considérons que la création d'un LoRA commence bien avant l'entraînement.
Le workflow comprend :
objectif → collecte → sélection → nettoyage → préparation → captions → entraînement → tests → sélection → production
Un mauvais dataset ne devient pas automatiquement bon parce que l'entraînement est techniquement réussi.
Style et identité visuelle
Pour un créatif, le LoRA peut devenir particulièrement intéressant lorsqu'il sert à construire une continuité visuelle.
Il peut permettre de retrouver certaines caractéristiques dans plusieurs productions sans repartir de zéro.
LoRA et workflow
Le LoRA doit ensuite être intégré au véritable pipeline :
modèle → LoRA → prompt → références → génération → contrôle → corrections