L’art IA en local : rapport d’avancement du développement de Txt2Img

Comme Midjourney a été largement testé par le public, certains problèmes liés aux images générées par l’IA ont été mis en évidence. L’émerveillement initial laisse place au constat que les images générées par Midjourney ont généralement tendance à adopter le même style, que l’on pourrait qualifier de « crémeux » et de trop uniforme. De plus, Midjourney ne dispose pas de… Si vous utilisez la version gratuite, vos images seront visibles par le reste de la communauté ; et même si vous êtes abonné, rien ne garantit qu’elles ne seront pas « volées » à d’autres fins.

Stable Diffusion s’appuie sur un écosystème open source et, grâce aux possibilités offertes par les extensions et à la créativité des utilisateurs, permet d’explorer davantage de cas d’utilisation. Vous ne vous contenterez pas de générer une image à partir d’une description comme avec Midjourney : vous l’utiliserez comme un outil de création de styles. C’est là que les possibilités passionnantes et utiles commenceront.

Au sein de la communauté, vous découvrirez de nombreux modèles au style très marqué, comme ChilloutMix pour le style manga japonais, MoXin pour le style de peinture à l’encre chinoise, et même des modèles qui reproduisent le visage de stars de cinéma. Vous pouvez charger ces modèles entraînés pour générer des images plus personnalisées. Lorsque l’utilisation commerciale sera réellement possible, je pense que le marché délaissera Midjourney au profit de Stable Diffusion.

De quoi avez-vous besoin pour héberger vous-même un environnement Stable Diffusion ?

Préparation du matériel

1. Un ordinateur WindowsDe préférence un ordinateur Windows ; les ordinateurs Mac peuvent rencontrer davantage de difficultés avec les pilotes de carte graphique. 2. Un GPU NVIDIA avec plus de 6 Go de mémoirePour effectuer de l’entraînement, il faut au moins 12 Go de mémoire vidéo.

3. Plus de 16 Go de mémoire8 Go de mémoire suffisent, mais il sera difficile de charger les excellents modèles créés par la communauté. Étapes de configuration et précautions.

1. Installer l’environnement Python Pendant l’installation, veillez à cocher Add Python to PATH.

2. Installer l’environnement Git

3. Dans l’invite de commandes, exécutez la commande suivante pour télécharger Stable Diffusiongit clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. Démarrer l’interface web de Stable DiffusionÀ l’aide du gestionnaire de fichiers, trouvez le fichier webui-user.bat téléchargé et exécutez-le sans être administrateur.

5. Selon les instructions de l’étape précédente, ouvrez l’adresse IP ; l’interface utilisateur s’affichera– Si une erreur survient au cours des étapes précédentes, vous pouvez demander à GPT de vous aider à résoudre le problème.

Définir un petit objectif – quelques images pour entraîner un petit modèle

Quelques concepts importants à comprendre

modèle principal

– Le modèle principal qui détermine le style du résultat ; vous pouvez utiliser le modèle original v1.5 illustré

– Vous pouvez télécharger le modèle qui vous convient sur civiai et le placer à l’emplacement indiqué : …/stable-diffusion-webui/models/Stable-diffusion

Prompt – Saisissez la description textuelle de l’image que vous souhaitez générer, par exemple : A weathered Chinese father holding a rice bowl, Special Features

Étapes d’échantillonnage – En général, plus le nombre d’étapes est élevé, plus le résultat est détaillé, mais plus l’attente est longue. En général, je le règle entre 20 et 40.

Largeur et hauteur – 512×512 est une taille raisonnable. Si vous avez des exigences particulières concernant les proportions de l’image, vous pouvez aussi les modifier.

Générer – Cliquez sur le bouton de génération pour lancer la création. Si le résultat ne vous satisfait pas, faites plusieurs essais.

Seeds – Si la composition générée vous convient, vous pouvez réutiliser cette seed lors de la génération suivante en enregistrant l’image ci-dessous.

options avancées

Options supplémentaires – Cochez cette case pour afficher les options avancées – L’intensité des différences peut augmenter le niveau de détail de l’image ; si vous la trouvez trop simple, vous pouvez augmenter cette valeur

Appliquer un style au modèle – Cliquez sur le bouton rouge « show extra Networks » sous le bouton Generate pour afficher le panneau supplémentaire – Vous pouvez télécharger des miniatures sur civiai, ou les entraîner vous-même.

– Les hypernetworks sont plus polyvalents, tandis que LoRA convient mieux à la génération de portraits

– Les mini-modèles sont placés dans le dossier correspondant sous models et peuvent être affichés et sélectionnés

– Après avoir sélectionné « style », les paramètres de style sont ajoutés au prompt, et la valeur qui suit indique leur intensité

Actions pour atteindre le mini-objectif (entraînement)

1. Préparer le jeu d’entraînement

– Une vingtaine d’images suffit pour entraîner un joli petit modèle de style – Pour commencer, 5 images présentant un style particulier conviennent – Les images du jeu d’entraînement doivent toutes avoir les mêmes dimensions 2. Créer un hypernetwork – Dans la section d’entraînement, saisissez un nom pour créer un hypernetwork

3. Prétraiter les images – À cette étape, l’IA génère d’abord une description textuelle à partir de l’image d’entraînement. – Dans l’image prétraitée, indiquez le chemin du dossier contenant l’image d’entraînement et celui du dossier où enregistrer l’image prétraitée. – Modifiez les dimensions de l’image d’entraînement – Si les dimensions ne sont pas identiques, vous pouvez d’abord utiliser Birme pour redimensionner plusieurs images à la fois. – Cochez l’option BLIP et cliquez sur le bouton Preprocess pour lancer le prétraitement

–Attendez que chaque image d’entraînement soit accompagnée d’un fichier txt ; le texte décrit l’image correspondante –Les descriptions peuvent comporter des inexactitudes que vous pouvez corriger manuellement – Leur précision détermine dans une certaine mesure l’efficacité de l’entraînement

4. Entraînement –Dans les paramètres d’entraînement, sélectionnez le Hypernetwork que vous venez de créer. 2. –Saisissez un taux d’apprentissage de 0.00005 – Pour l’entraînement initial, 4 zéros conviennent ; lors des entraînements suivants, diminuez progressivement le nombre de zéros – Saisissez le répertoire contenant les descriptions textuelles et les images –Modifiez la taille des images –Choisissez 2000 étapes d’itération –En général, un entraînement de 2000 étapes prend 1 heure avec une carte graphique de série 10 et une demi-heure avec une carte graphique de série 30 –Cliquez sur le bouton Training Hypernetwork pour lancer l’entraînement

5. Présentation du résultat –Une fois l’entraînement lancé, vous pouvez suivre son déroulement dans la fenêtre d’aperçu

–Après l’entraînement, vous pouvez consulter son déroulement dans … /stable-diffusion-webui/textual_inversion/date/… Vous trouverez les résultats de l’entraînement dans le dossier hyper networks –Le dossier images contient les résultats du processus d’entraînement –Vous pouvez examiner les images et décider quel résultat d’entraînement vous convient

–Dans le dossier hyper networks, les fichiers portant le suffixe .pt sont les modèles de style entraînés – Par exemple, si le résultat de l’étape 1400 vous convient, vous pouvez déplacer le fichier pt de l’étape 1400 vers models/hyper networks pour l’utiliser comme style

–Générer des images à partir des résultats de l’entraînement –Dans « txt to img » et « img to img », sélectionnez le style que vous venez d’entraîner, puis générez vos images. –Si le style n’est pas assez marqué, vous pouvez augmenter le facteur

–Amusez-vous !

Je viens de publier les dernières évolutions et mon interprétation

Récemment, Stable Diffusion a lancé un nouveau modèle appelé DeepFloyd IF, qui améliore considérablement une série de problèmes liés au dessin par IA, souvent critiqué. Par exemple, les images générées par l’IA présentent des relations spatiales problématiques, des personnages avec plusieurs doigts sur les membres et une incapacité à gérer des relations logiques complexes. Franchement, je crois que l’avenir de l’IA générative d’images appartient à l’open source et au déploiement privé.

La société humaine est diverse et différente au niveau visuel, et les outils aux styles et tendances spécifiques ne peuvent pas couvrir un large éventail. Les différences esthétiques entre les humains s’expliquent par la diversité de leurs jeux d’entraînement. Il n’y a pas de différence entre les humains et l’IA : le déploiement privé de l’entraînement garantit l’indépendance esthétique, et cette « indépendance » permet de rétablir une plus grande « diversité ».