KI-Kunst am Edge: Fortschrittsbericht zur Txt2Img-Entwicklung

Da Midjourney von der Öffentlichkeit umfassend getestet wurde, sind einige Probleme mit KI-generierten Bildern deutlich geworden. Die anfängliche Ehrfurcht ist der Erkenntnis gewichen, dass die von Midjourney erzeugten Bilder meist alle einen ähnlichen Stil haben, den man als „cremig“ und zu eintönig bezeichnen könnte. Außerdem bietet Midjourney keine Möglichkeit, deine Privatsphäre zu schützen. Wenn du die kostenlose Version nutzt, werden deine Bilder der übrigen Community zugänglich gemacht. Und selbst als zahlender Nutzer lässt sich nicht ausschließen, dass deine Bilder für andere Zwecke „gestohlen“ werden.

Stable Diffusion stammt aus einem Open-Source-Ökosystem. Durch die Kombination von Plug-in-Funktionen und der Kreativität der Nutzer lassen sich weitere Anwendungsbereiche erschließen. Du wirst dich nicht damit zufriedengeben, wie bei Midjourney einfach ein Bild anhand einer Beschreibung zu erzeugen. Du wirst es als Stil-Designer einsetzen, und dann beginnt der spannende und lohnende Teil.

In der Community kannst du zahlreiche stark stilisierte Modelle entdecken, etwa ChilloutMix im japanischen Manga-Stil, MoXin im chinesischen Tusche-Stil und sogar Modelle, die das Gesicht eines Filmstars nachahmen. Du kannst diese trainierten Modelle laden, um Bilder mit einem höheren Grad an Individualisierung zu erzeugen. Sobald die kommerzielle Verfügbarkeit näher rückt, wird sich der Fokus des Marktes meiner Meinung nach von Midjourney zu Stable Diffusion verlagern.

Was brauchst du, wenn du eine Stable-Diffusion-Umgebung selbst hosten möchtest?

Hardware vorbereiten

1. Ein Windows-ComputerAm besten eignet sich ein Windows-Computer. Bei Mac-Computern kann es größere Probleme mit den Grafikkartentreibern geben. 2. Eine NVIDIA-GPU mit mehr als 6 GBWenn du trainieren möchtest, benötigst du mindestens 12 GB Grafikspeicher.

3. Der Arbeitsspeicher sollte mehr als 16 GB betragen.8 GB reichen aus, aber es ist schwierig, die hervorragenden Modelle der Community zu laden. Einrichtungsprozess und wichtige Hinweise.

1. Installiere die Python-Umgebung. Achte während der Installation darauf, dass Add Python to PATHaktiviert ist.

2. Installiere die Git-Umgebung

3. Führe in der CMD den folgenden Befehl aus, um Stable Diffusion herunterzuladen:git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. Starte die Weboberfläche von Stable DiffusionSuche im Dateimanager die heruntergeladene Datei webui-user.bat und führe sie ohne Administratorrechte aus.

5. Öffne die IP-Adresse ausgehend von der Eingabeaufforderung im vorherigen Schritt. Die Benutzeroberfläche wird angezeigt– Wenn bei den obigen Schritten Fehler auftreten, kannst du GPT bitten, dir bei der Lösung zu helfen.

Entwirf ein kleines Ziel – ein paar Bilder, um ein kleines Modell zu trainieren

Einige wichtige Konzepte, die Sie verstehen sollten

Hauptmodell

– Das Hauptmodell beeinflusst den Ausgabestil. Sie können das ursprüngliche Modell v1.5 aus der Illustration verwenden.

– Sie können ein Modell Ihrer Wahl von civiai herunterladen und im angegebenen Verzeichnis ablegen: …/stable-diffusion-webui/models/Stable-diffusion

Prompt – Geben Sie eine Textbeschreibung des gewünschten Bildes ein, zum Beispiel: Ein wettergegerbter chinesischer Vater hält eine Reisschale, besondere Merkmale

Sampling-Schritte – Im Allgemeinen gilt: Je höher die Anzahl der Schritte, desto detaillierter das Ergebnis, aber desto länger die Wartezeit. Normalerweise stelle ich den Wert auf 20-40 ein.

Breite und Höhe – 512×512 ist eine angemessene Größe. Wenn Sie ein bestimmtes Bildseitenverhältnis benötigen, können Sie es ebenfalls anpassen.

Generieren – Klicken Sie auf die Schaltfläche „Generate“, um die Generierung zu starten. Wenn Sie mit dem Ergebnis nicht zufrieden sind, versuchen Sie es mehrmals.

Startwerte – Wenn Sie mit der aktuell generierten Komposition zufrieden sind, können Sie diesen Startwert für die nächste Generierung wiederverwenden, indem Sie das Bild unten speichern.

Erweiterte Optionen

Zusätzliche Optionen – Aktivieren Sie dieses Kontrollkästchen, um die erweiterten Optionen einzublenden. – Die Detailstärke kann die Bilddetails verbessern. Wenn Ihnen das Bild zu schlicht erscheint, können Sie diesen Wert erhöhen.

Stil auf das Modell anwenden – Klicken Sie unter der Schaltfläche „Generate“ auf die rote Schaltfläche „show extra Networks“, um das zusätzliche Bedienfeld einzublenden. – Die Miniaturen können von civiai heruntergeladen oder selbst trainiert werden.

– Hypernetworks sind vielseitiger, während sich LoRA besser für die Porträterstellung eignet.

– Die Mini-Modelle werden im entsprechenden Ordner unter „models“ abgelegt und können dort angezeigt und ausgewählt werden.

– Nach der Auswahl von „Stil“ werden die Stilparameter dem Prompt hinzugefügt. Der darauf folgende Parameter gibt die Stärke an.

Aktionen zum Erreichen des Mini-Ziels (Training)

1. Trainingsdatensatz vorbereiten

– Etwa 20 Bilder reichen aus, um ein schönes kleines Stilmodell zu trainieren. – Als Anfang reichen 5 Bilder mit einem bestimmten Stil. – Die Bilder im Trainingsdatensatz müssen dieselbe Größe haben. 2. Hypernetwork erstellen – Geben Sie im Trainingsbereich einen Namen ein, um ein Hypernetwork zu erstellen.

3. Bilder vorverarbeiten – In diesem Schritt erstellt die KI zunächst eine Textbeschreibung anhand des Trainingsbilds. – Geben Sie im Feld für das vorverarbeitete Bild den Ordnerpfad des Trainingsbilds und den Ordnerpfad für das vorverarbeitete Ausgabebild ein. – Ändern Sie das Seitenverhältnis des Trainingsbilds. – Wenn die Größe nicht übereinstimmt, können Sie die Bilder zunächst mit Birme stapelweise anpassen. – Aktivieren Sie die BLIP-Option und klicken Sie auf die Schaltfläche „Preprocess“, um die Vorverarbeitung zu starten.

–Warten Sie, bis der Vorgang abgeschlossen ist. Neben jedem Trainingsbild befindet sich eine txt-Datei mit der Beschreibung des entsprechenden Bildes. –Die Beschreibungen können Ungenauigkeiten enthalten, die Sie manuell korrigieren können. – Die Genauigkeit der Beschreibungen beeinflusst die Trainingsergebnisse in gewissem Maße.

4. Training –Wählen Sie beim Training das gerade erstellte Hypernetwork aus. 2. –Geben Sie eine Lernrate von 0,00005 ein. – Bei der anfänglichen Trainingsphase sind 4 Nullen passend. Reduzieren Sie die Anzahl der Nullen bei späteren Trainings schrittweise. – Geben Sie den Ordner mit den Bildbeschreibungen und Bildern an. –Ändern Sie die Bildgröße. –Wählen Sie 2000 Iterationsschritte. –Bei 2000 Trainingsschritten dauert das Training mit einer Grafikkarte der 10er-Serie in der Regel 1 Stunde und mit einer Grafikkarte der 30er-Serie eine halbe Stunde. –Klicken Sie auf die Schaltfläche „Training Hypernetwork“, um das Training zu starten.

5. Ergebnispräsentation –Nach Beginn des Trainings können Sie den Trainingsverlauf im Vorschaufenster ansehen.

–Nach dem Training können Sie den Trainingsverlauf unter … /stable-diffusion-webui/textual_inversion/date/… ansehen. Die Trainingsergebnisse finden Sie im Ordner „hyper networks“. –Im Ordner „images“ befinden sich die Ergebnisse des Trainingsverlaufs. –Sehen Sie sich die Bilder an und entscheiden Sie, welches Trainingsergebnis passt.

–Im Ordner „hyper networks“ sind die Dateien mit der Endung .pt die trainierten Stilmodelle. – Wenn Sie beispielsweise das Ergebnis von Schritt 1400 passend finden, können Sie die pt-Datei von Schritt 1400 als Stil in „models/hyper networks“ verschieben.

–Bilder mit den Trainingsergebnissen generieren –Wählen Sie unter „txt to img“ und „img to img“ den gerade trainierten Stil aus und generieren Sie Bilder. –Wenn der Stil nicht stark genug ausgeprägt ist, können Sie den Faktor erhöhen.

–Viel Spaß!

Kürzlich veröffentlichte Neuigkeiten und meine Einschätzung dazu

Kürzlich hat Stable Diffusion ein neues Modell namens DeepFloyd IF vorgestellt, das eine Reihe von Problemen beim kritisierten KI-Zeichnen deutlich verbessert. KI-generierte Bilder weisen beispielsweise problematische räumliche Beziehungen auf, Figuren haben zu viele Finger an den Gliedmaßen und komplexe logische Zusammenhänge lassen sich nicht darstellen. Offen gesagt glaube ich, dass die Zukunft der Bild-KI bei Open Source und privatem Deployment liegt.

Die menschliche Gesellschaft ist vielfältig und unterscheidet sich auch optisch. Werkzeuge mit bestimmten Stilen und Tendenzen können daher nicht ein breites Spektrum abdecken. Die unterschiedlichen ästhetischen Vorlieben von Menschen beruhen auf unterschiedlichen Trainingsdatensätzen. Zwischen Menschen und KI besteht dabei kein Unterschied: Ein privates Training sorgt für unabhängige Ästhetik, und „Unabhängigkeit“ kann ein größeres Maß an „Vielfalt“ ermöglichen.