AI-kunst aan de edge: voortgangsrapportage over Txt2Img-ontwikkeling

Nu Midjourney uitgebreid door het publiek is getest, zijn er enkele problemen met door AI gegenereerde afbeeldingen aan het licht gekomen. Het gevoel van verwondering maakt plaats voor het besef dat afbeeldingen van Midjourney meestal dezelfde stijl hebben, die je misschien 'romig' en te uniform zou noemen. Bovendien heeft Midjourney geen… Als je een gratis gebruiker bent, zijn je afbeeldingen zichtbaar voor de rest van de community. En zelfs als betalende gebruiker kun je niet uitsluiten dat je afbeeldingen voor andere doeleinden worden 'gestolen'.

Stable Diffusion komt voort uit een opensource-ecosysteem. Dankzij de combinatie van plug-inmogelijkheden en de creativiteit van gebruikers kunnen er meer toepassingsmogelijkheden worden verkend. Je zult geen genoegen nemen met simpelweg een afbeelding genereren op basis van een beschrijving, zoals bij Midjourney. Je gaat het gebruiken als stijldesigner, en dan begint het leuke en waardevolle werk.

In de community ontdek je veel modellen met een uitgesproken stijl, zoals ChilloutMix voor de Japanse mangastijl, MoXin voor de Chinese inktstijl en zelfs modellen die het gezicht van een filmster nabootsen. Je kunt deze getrainde modellen laden om afbeeldingen te genereren die je meer naar wens kunt aanpassen. Zodra commercieel gebruik echt in beeld komt, denk ik dat de aandacht van de markt zal verschuiven van Midjourney naar Stable Diffusion.

Wat heb je nodig om een Stable Diffusion-omgeving zelf te hosten?

Hardware voorbereiden

1. Een Windows-computerBij voorkeur een Windows-computer; op Mac-computers kun je meer problemen ondervinden met stuurprogramma's voor grafische kaarten. 2. Een NVIDIA-GPU met meer dan 6 GBAls je wilt trainen, heb je minimaal 12 GB videogeheugen nodig.

3. Meer dan 16 GB geheugen8 GB geheugen is voldoende, maar daarmee is het lastig om de uitstekende modellen uit de community te laden. Bouwproces en aandachtspunten.

1. Installeer de Python-omgeving. Zorg er tijdens de installatie voor dat Python toevoegen aan PATH is aangevinkt.

2. Installeer de Git-omgeving

3. Voer in CMD de volgende opdracht uit om Stable Diffusion te downloadengit clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. Start de webinterface van Stable DiffusionZoek met de bestandsbeheerder het gedownloade bestand webui-user.bat en voer het uit als niet-beheerder.

5. Open het IP-adres volgens de prompt in de vorige stap. De gebruikersinterface wordt weergegeven– Als er in de bovenstaande stappen iets misgaat, kun je GPT om hulp vragen.

Een klein doel stellen - een paar afbeeldingen om een klein model te trainen

Een paar belangrijke begrippen die je moet begrijpen

hoofdmodel

– Het hoofdmodel bepaalt de stijl van het resultaat; je kunt het originele v1.5-model gebruiken dat in de illustratie wordt getoond

– Je kunt een download naar keuze op civiai zetten op de opgegeven locatie…/stable-diffusion-webui/models/Stable-diffusion

prompttekst – Voer een tekstbeschrijving in van de afbeelding die je wilt genereren, bijvoorbeeld: Een verweerde Chinese vader met een rijstkom in zijn handen, Special Features

Sampling-stappen – Over het algemeen geldt: hoe meer stappen, hoe verfijnder het resultaat, maar hoe langer de wachttijd. Meestal stel ik dit in op 20-40.

Lengte en breedte – 512×512 is een redelijke afmeting. Als je specifieke eisen hebt voor de beeldverhouding, kun je die ook aanpassen

genererens – Klik op de knop Generate om de afbeelding te genereren. Als je niet tevreden bent, probeer het dan een paar keer

seeds – Als je tevreden bent met de huidige compositie, kun je deze seed voor de volgende generatie blijven gebruiken door de afbeelding hieronder op te slaan.

geavanceerde opties

Extra – Vink dit vakje aan om de geavanceerde opties te openen – De intensiteit van de verschillen kan de details van de afbeelding versterken. Als je vindt dat de afbeelding te eentonig is, kun je deze waarde verhogen

Stijl aan het model toevoegen – Klik op de rode knop ‘show extra Networks’ onder de knop Generate om het extra paneel uit te vouwen – Je kunt miniaturen downloaden van civiai of ze zelf trainen.

– een hypernetwerk is veelzijdiger en LoRA is geschikter voor het genereren van portretten

– de mini-modellen staan in de bijbehorende map onder models en zijn daar zichtbaar en selecteerbaar

– na het selecteren van ‘stijl’ worden de stijlparameters aan de prompt toegevoegd; de parameter erachter geeft de sterkte aan

Acties om het minidoel te bereiken (training)

1. de trainingsset voorbereiden

– ongeveer 20 afbeeldingen zijn genoeg om een mooi klein stijlmodel te trainen – om te beginnen zijn 5 afbeeldingen met een specifieke stijl prima – de afbeeldingen in de trainingsset moeten allemaal dezelfde afmetingen hebben 2. Hypernetwork maken – Voer bij Training een naam in om een hypernetwerk te maken

3. De afbeeldingen voorbewerken – In deze stap genereert de AI eerst een tekstbeschrijving op basis van de trainingsafbeelding. – Vul bij de voorbewerkte afbeelding het mappad van de trainingsafbeelding en het mappad van de uitvoer voor de voorbewerkte afbeelding in. – Pas de beeldverhouding van de trainingsafbeelding aan – Als de afmetingen niet gelijk zijn, kun je eerst Birme gebruiken om de afmetingen van de afbeeldingen in één keer aan te passen. – Vink de optie BLIP aan en klik op de knop Preprocess om de voorbewerking uit te voeren

–Zorg ervoor dat er naast elke trainingsafbeelding een txt-bestand staat met de beschrijving van de bijbehorende afbeelding –De beschrijvingen kunnen onnauwkeurig zijn; je kunt ze handmatig aanpassen – De nauwkeurigheid van de beschrijvingen bepaalt mede hoe goed de training werkt

4. Training –Selecteer tijdens de training het hypernetwork dat je zojuist hebt aangemaakt. 2. –Voer een leersnelheid van 0.00005 in – Tijdens de begintraining zijn 4 nullen geschikt. Verminder bij latere trainingen geleidelijk het aantal nullen – Voer de map met de tekstbeschrijvingen en afbeeldingen in –Pas de afbeeldingsgrootte aan –Kies 2000 iteratiestappen –Over het algemeen duurt een training van 2000 stappen 1 uur met een videokaart uit de 10-serie en een halfuur met een videokaart uit de 30-serie –Klik op de knop Training Hypernetwork om de training te starten

5. Resultaten bekijken –Zodra de training is gestart, kun je het trainingsproces in het voorbeeldvenster bekijken

–Na de training kun je het trainingsproces bekijken in … /stable-diffusion-webui/textual_inversion/date/… De trainingsresultaten vind je in de map hyper networks –In de map images staan de resultaten van het trainingsproces –Je kunt de afbeeldingen bekijken en bepalen welk trainingsresultaat geschikt is

–In de map hyper networks zijn de bestanden met de extensie .pt de stijlmodellen die zijn getraind – Als je bijvoorbeeld het resultaat van stap 1400 geschikt vindt, kun je het pt-bestand van stap 1400 naar models/hyper networks verplaatsen om het als stijl te gebruiken

–Afbeeldingen genereren met de trainingsresultaten –Selecteer bij ‘txt to img’ en ‘img to img’ de stijl die je zojuist hebt getraind en genereer de afbeelding. –Als de stijl niet sterk genoeg is, kun je de factor verhogen

–Veel plezier!

Onlangs zijn de nieuwste ontwikkelingen verschenen, samen met mijn inzichten

Onlangs heeft Stable Diffusion een nieuw model geïntroduceerd, DeepFloyd IF, dat een reeks problemen met de bekritiseerde AI-tekeningen sterk verbetert. AI-gegenereerde afbeeldingen hebben bijvoorbeeld problematische ruimtelijke verhoudingen, personages met meerdere vingers aan hun ledematen en moeite met complexe logische verbanden. Eerlijk gezegd geloof ik dat de toekomst van beeld-AI bij open source en privé-implementatie ligt.

De menselijke samenleving is divers en verschilt visueel. Tools met een bepaalde stijl en bepaalde neigingen kunnen niet een groot gebied bestrijken. De verschillen tussen menselijke esthetische voorkeuren komen voort uit verschillende trainingssets. Er is geen verschil tussen mensen en AI: door training privé te implementeren, blijft de esthetiek onafhankelijk. Die "onafhankelijkheid" kan een grotere mate van "diversiteit" herstellen.