Comparer sans fabriquer un classement universel
Les comparatifs de modèles sont souvent présentés sous la forme :
modèle A contre modèle B — lequel est le meilleur ?
Chez Axiris, nous préférons éviter cette approche lorsqu'elle ne correspond pas à un besoin réel.
Un modèle peut être excellent pour une tâche et beaucoup moins intéressant pour une autre.
Définir le test
Une comparaison utile doit commencer par une question précise.
Par exemple :
- lequel respecte le mieux une composition ?
- lequel conserve le mieux un personnage ?
- lequel édite le plus précisément une image ?
- lequel produit le meilleur photoréalisme ?
- lequel comprend le mieux une instruction complexe ?
- lequel fonctionne le mieux localement ?
- lequel est le plus intéressant dans ComfyUI ?
- lequel correspond à notre matériel ?
Même intention, conditions connues
Lorsque cela est possible, un test doit essayer de réduire les différences inutiles.
Nous documentons alors :
- le modèle ;
- la version ;
- le prompt ;
- les références ;
- les réglages ;
- le matériel ;
- le workflow ;
- les observations.
Le but n'est pas de produire un podium.
Le but est de comprendre le comportement du modèle.
Comparaison officielle et test Axiris
Les benchmarks publiés par les développeurs peuvent apporter des informations utiles.
Mais ils ne remplacent pas nécessairement l'usage réel dans un pipeline graphique.
Axiris sépare donc :
benchmarks et caractéristiques annoncées
de
nos propres tests et observations.
Quel modèle choisir ?
La comparaison doit finalement aider à prendre une décision.
Si un modèle moins spectaculaire sur un benchmark permet au créatif de conserver davantage de contrôle et de produire plus efficacement son travail, il peut être le meilleur choix pour ce workflow.