4.3ControlNet, IP-Adapter & LoRA
Ces trois extensions de l'écosystème Stable Diffusion font passer d'une génération « suggérée par du texte » à une génération pilotée. ControlNet est le plus spectaculaire : il permet d'imposer une structure à l'image à partir d'une image de contrôle. Selon le modèle de contrôle choisi, vous imposez une pose humaine (OpenPose, à partir d'un squelette), des contours (Canny, Lineart — idéal pour coloriser un croquis ou respecter une silhouette précise), une profondeur (Depth, pour conserver l'agencement spatial d'une scène), une segmentation, ou encore un gribouillis (Scribble). C'est la réponse au problème le plus frustrant de l'IA générative : obtenir exactement la composition ou la pose voulue, plutôt que d'espérer que le hasard la produise.
IP-Adapter répond à un autre besoin : transférer le contenu visuel d'une image de référence — un visage, un style, une ambiance — vers de nouvelles générations. C'est l'équivalent, en plus puissant et plus paramétrable, des références --cref / --sref de Midjourney (section 3.5). LoRA (Low-Rank Adaptation) va encore plus loin : il s'agit d'un petit fichier d'entraînement additionnel qui apprend au modèle un concept précis — votre personnage, votre style graphique, votre produit, un type de vêtement. On peut télécharger des milliers de LoRA existants, ou entraîner le sien à partir d'une vingtaine d'images bien choisies : c'est la solution la plus robuste pour une identité visuelle de marque ou un personnage récurrent (sections 3.5 et 5.1). Ces outils se combinent : un LoRA pour le style de votre marque, un ControlNet pour imposer la composition, un IP-Adapter pour le visage — c'est ainsi que travaillent les pipelines professionnels. Le prix à payer : de la complexité, une consommation mémoire accrue, et une vraie courbe d'apprentissage. Vérifiez aussi la licence des LoRA téléchargés avant tout usage commercial.
Vocabulaire de la section
- ControlNet
- Extension imposant une structure à l'image depuis une image de contrôle (pose, contours, profondeur, segmentation).
- OpenPose / Canny / Depth
- Types de contrôle : squelette de pose, détection de contours, carte de profondeur.
- IP-Adapter
- Transfert du contenu visuel d'une image de référence (visage, style, ambiance) vers de nouvelles générations.
- LoRA
- Petit fichier d'entraînement additionnel apprenant un concept précis (personnage, style, produit) à un modèle.
- Pipeline combiné
- Usage simultané de plusieurs extensions (LoRA + ControlNet + IP-Adapter) dans un même workflow professionnel.
À quoi sert ControlNet ?
En pratique — Piloter précisément la génération
- Installez ControlNet dans votre interface locale, puis testez OpenPose : fournissez une image de pose et générez un personnage la respectant.
- Testez Canny ou Lineart : partez d'un croquis ou d'une silhouette et faites générer une image respectant ces contours.
- Essayez un LoRA existant (téléchargé d'une source fiable, licence vérifiée) et observez son effet sur le style.
- Combinez : un LoRA de style + un ControlNet de composition, et constatez le niveau de contrôle atteint.
Points clés à retenir
- ControlNet impose une STRUCTURE (pose via OpenPose, contours via Canny/Lineart, profondeur via Depth) : fin du hasard sur la composition.
- IP-Adapter transfère un contenu visuel de référence (visage, style) — équivalent avancé des --cref/--sref.
- LoRA : petit entraînement additionnel apprenant un concept précis (personnage, style de marque, produit) ; téléchargeable ou entraînable.
- Ces outils se combinent (pipelines pros) ; contrepartie : complexité, mémoire, apprentissage. Vérifier les licences.
Questions fréquentes
Faut-il savoir programmer pour utiliser ControlNet et les LoRA ?
Non, aucune programmation n'est nécessaire — et c'est une bonne nouvelle, car la réputation technique de cet écosystème décourage souvent à tort. Dans Automatic1111, ControlNet s'installe comme une extension depuis l'interface (un onglet dédié, une liste, un bouton d'installation), puis apparaît sous forme de panneau : vous déposez votre image de contrôle, choisissez le type (OpenPose, Canny, Depth…), réglez un ou deux curseurs d'intensité, et générez. Un LoRA s'utilise encore plus simplement : vous placez le fichier téléchargé dans le bon dossier, et vous l'appelez depuis le prompt (ou en cliquant dessus dans la bibliothèque de l'interface), éventuellement avec un poids pour doser son influence. Dans ComfyUI, la logique est visuelle : vous ajoutez des nœuds et vous les reliez — c'est du branchement, pas du code. Ce qui est réellement exigeant, ce n'est donc pas la programmation, mais trois autres choses qu'il faut anticiper. L'installation et la compatibilité : versions d'interface, de modèles et d'extensions doivent s'accorder, et c'est là que se concentrent la plupart des difficultés (messages d'erreur, dépendances). La compréhension conceptuelle : savoir quel type de ControlNet correspond à votre besoin, comment doser son intensité, comment les extensions interagissent entre elles — cela s'acquiert par la pratique. Les ressources matérielles : ces extensions consomment de la mémoire vidéo, et cumuler plusieurs ControlNet et LoRA peut saturer une carte modeste. Un cas mérite d'être distingué : entraîner son propre LoRA est un cran au-dessus. Cela reste accessible grâce à des interfaces graphiques dédiées, mais demande de préparer un jeu d'images cohérent, de les légender correctement, et de comprendre quelques paramètres d'entraînement. Ce n'est toujours pas de la programmation, mais c'est un vrai apprentissage. Mon conseil : commencez par utiliser des LoRA existants et un seul ControlNet à la fois. Vous verrez très vite la puissance de l'approche, et vous monterez en complexité selon vos besoins réels.
Comment entraîner un LoRA sur mon propre style ou mon personnage ?
Le principe est de fournir au modèle un petit jeu d'images cohérent représentant le concept à apprendre, puis de lancer un entraînement qui produira un fichier léger réutilisable. Voici la démarche, sans entrer dans les réglages techniques qui dépendent de l'outil. 1) Constituez le jeu d'images. C'est l'étape la plus déterminante, et celle qu'on bâcle le plus souvent. Comptez généralement une vingtaine d'images (parfois moins, parfois plus selon le concept), de bonne qualité et surtout variées dans ce qui doit changer et constantes dans ce qui doit être appris. Pour un personnage : plusieurs angles, expressions, éclairages et arrière-plans, mais toujours le même visage. Pour un style : des sujets différents, mais le même traitement graphique. Si toutes vos images se ressemblent trop (même pose, même fond), le LoRA apprendra le fond et la pose en plus du concept — un défaut classique appelé surapprentissage. 2) Légendez les images. Chaque image reçoit une description ; on y met un mot-déclencheur unique (un terme rare qui servira à invoquer le concept) et l'on décrit ce qui varie (le décor, la pose), sans décrire ce qui doit être appris comme constante. C'est contre-intuitif mais essentiel : ce que vous ne nommez pas devient partie du concept appris. 3) Lancez l'entraînement avec un outil dédié (des interfaces graphiques existent, intégrables à A1111 ou ComfyUI). Vous réglerez quelques paramètres — nombre de répétitions, d'époques, taux d'apprentissage — dont les valeurs de départ recommandées suffisent généralement. Cela demande une carte graphique correcte et un peu de temps de calcul. 4) Testez et itérez. Générez avec votre LoRA à différents poids : trop faible, l'effet est invisible ; trop fort, les images deviennent rigides et se ressemblent toutes. Si le résultat est décevant, le problème vient presque toujours du jeu d'images — corrigez-le et relancez plutôt que de multiplier les réglages. Deux points de vigilance pour finir : n'entraînez un LoRA que sur des images dont vous avez les droits (vos propres créations, ou des images libres) — entraîner sur les œuvres d'un artiste sans accord pose exactement les problèmes éthiques évoqués en section 0.4 ; et vérifiez la licence du modèle de base si vous comptez exploiter commercialement les résultats.