Un modèle d'intelligence artificielle est le moteur qui analyse les informations fournies et produit le résultat.
Dans le domaine de l'image, il peut être conçu pour générer une image à partir d'un texte, transformer une image existante, interpréter plusieurs références ou effectuer des opérations beaucoup plus spécialisées.
Chez Axiris, comprendre le modèle permet surtout de comprendre ce qu'on peut raisonnablement lui demander dans un workflow.
Le modèle n'est pas l'application
Un modèle et l'interface utilisée pour l'exécuter sont deux choses différentes.
Un même modèle peut parfois être utilisé dans :
- ComfyUI ;
- une application spécialisée ;
- une API ;
- un service web ;
- une interface locale ;
- un workflow automatisé.
ComfyUI, par exemple, n'est pas lui-même un modèle d'image.
C'est un environnement capable de charger et d'orchestrer différents modèles et opérations.
Les poids du modèle
Lorsqu'un modèle peut être exécuté localement, son fonctionnement repose généralement sur des fichiers contenant ses paramètres appris pendant l'entraînement.
On parle souvent de weights ou de poids du modèle.
Selon la technologie utilisée, plusieurs fichiers peuvent participer au processus :
- modèle de diffusion ;
- text encoder ;
- VAE ;
- checkpoint ;
- LoRA ;
- composants de contrôle.
Le téléchargement d'un modèle ne suffit donc pas toujours à obtenir un workflow fonctionnel.
Un modèle possède ses propres capacités
Deux modèles d'image peuvent réagir très différemment à une même instruction.
Ils peuvent différer sur :
- le photoréalisme ;
- la compréhension du langage ;
- la composition ;
- le texte dans l'image ;
- la cohérence d'un personnage ;
- l'édition ;
- les références visuelles ;
- les styles ;
- la vitesse ;
- la consommation de mémoire.
C'est pourquoi Axiris évite autant que possible la question :
Quel est le meilleur modèle ?
Nous préférons demander :
Quel modèle correspond le mieux au travail que nous voulons réaliser ?
Architecture, entraînement et comportement
Le comportement d'un modèle dépend notamment de son architecture, des données et des méthodes utilisées pendant son entraînement.
Il n'est pas nécessaire de maîtriser toute la recherche mathématique derrière un modèle pour l'utiliser.
Mais comprendre ses grandes caractéristiques permet souvent de mieux comprendre ses forces et ses limites.
Documentation officielle
Lorsque nous documentons un modèle sur Axiris, nous cherchons d'abord sa source originale :
- site de l'éditeur ;
- documentation officielle ;
- dépôt officiel ;
- model card ;
- publication technique ;
- licence.
Nous séparons ensuite ces informations de nos propres observations.
La documentation décrit le modèle.
Nos tests montrent comment nous pouvons réellement l'utiliser.