AI-konst i utkanten: lägesrapport om utvecklingen av Txt2Img

Eftersom Midjourney har testats brett av allmänheten har vissa problem med AI-genererade bilder blivit tydliga. Förundran har övergått i insikten att bilderna som Midjourney skapar ofta har samma stil – som du kanske skulle kalla ”gräddig” och alltför likartad. Midjourney har inte heller någon... Om du använder gratisversionen blir dina bilder synliga för resten av communityn. Och även som betalande användare kan du inte utesluta risken för att dina bilder ”stjäls” och används i andra syften.

Stable Diffusion bygger på ett ekosystem med öppen källkod. Kombinationen av pluginfunktioner och användarnas kreativitet gör det möjligt att utforska fler användningsområden. Du nöjer dig inte med att bara skapa en bild utifrån en beskrivning, som med Midjourney. Du använder det som en stildesigner, och då börjar det roliga och värdefulla.

I communityn kan du utforska många modeller med en särpräglad stil, till exempel ChilloutMix för japansk mangastil, MoXin för kinesisk tuschmålarstil och till och med modeller som efterliknar filmstjärnors ansikten. Du kan ladda in dessa tränade modeller för att skapa bilder med större möjligheter till anpassning. När tekniken verkligen blir redo för kommersiellt bruk tror jag att marknadens fokus kommer att flyttas från Midjourney till Stable Diffusion.

Vad behöver du för att själv vara värd för en Stable Diffusion-miljö?

Förberedelser av hårdvara

1. En Windows-datorHelst en Windows-dator. Mac-datorer kan ha fler problem med grafikkortsdrivrutiner. 2. Ett NVIDIA-grafikkort med minst 6 GB VRAMOm du vill träna modeller behöver du minst 12 GB grafikminne.

3. Minst 16 GB minne8 GB minne räcker, men det blir svårt att ladda de bästa modellerna i communityn. Installationsprocess och saker att tänka på.

1. Installera Python-miljön. Se till att kryssa i Add Python to PATH under installationen.

2. Installera Git-miljön

3. Kör följande kommando i CMD för att ladda ner Stable Diffusiongit clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. Starta webbgränssnittet för Stable DiffusionAnvänd filhanteraren för att hitta den nedladdade filen webui-user.bat och kör den som en vanlig användare, inte som administratör.

5. Öppna IP-adressen enligt anvisningarna i föregående steg, så visas användargränssnittet– Om det uppstår fel i något av stegen ovan kan du be GPT att hjälpa dig att lösa problemet.

Utforma ett litet mål – några bilder för att träna en liten modell

Några viktiga begrepp du behöver förstå

huvudmodell

– Huvudmodellen påverkar resultatets stil. Du kan använda den ursprungliga v1.5-modellen som visas i illustrationen

– Du kan välja en modell på civiai som du gillar och placera den på den angivna platsen…/stable-diffusion-webui/models/Stable-diffusion

Prompttext – Ange en textbeskrivning av bilden du vill generera, till exempel A weathered Chinese father holding a rice bowl, Special Features

Samplingssteg – Generellt gäller att ju fler steg, desto mer detaljerad blir bilden, men väntetiden blir längre. Jag brukar ställa in det på 20-40.

Höjd och bredd – 512×512 är en rimlig storlek. Om du har särskilda krav på bildens proportioner kan du också ändra dem

Generera – Klicka på knappen Generate för att starta genereringen. Om du inte är nöjd efter ett försök kan du prova flera gånger

Frön – Om du tycker att den aktuella kompositionen är bra kan du använda samma frö vid nästa generering genom att spara bilden nedan.

avancerade alternativ

Extra – Markera den här kryssrutan för att öppna de utökade alternativen – Detaljintensiteten kan öka bildens detaljrikedom. Om du tycker att bilden är för enformig kan du höja värdet

Lägg till en stil i modellen – Klicka på den röda knappen ”show extra Networks” under knappen Generate för att visa den extra panelen – De små modellerna kan laddas ner från civiai, eller så kan du träna dem själv.

– Hypernetwork är mer mångsidigt, medan LoRA passar bättre för porträttgenerering

– De små modellerna placeras i motsvarande mapp under models och kan visas och väljas

– När du har valt ”style” läggs stilens parametrar till i prompten, och värdet efteråt anger styrkan

Åtgärder för att nå delmålet (träning)

1. Förbered träningsuppsättningen

– Det räcker med cirka 20 bilder för att träna en bra liten stilmodell – Som en början räcker 5 bilder med en specifik stil – Bilderna i träningsuppsättningen måste ha samma storlek 2. Skapa ett Hypernetwork – Ange ett namn under träningen för att skapa ett Hypernetwork

3. Förbehandla bilderna – I det här steget genererar AI:n först en textbeskrivning utifrån träningsbilden. – I den förbehandlade bilden anger du mappsökvägen till träningsbilden och mappsökvägen till den förbehandlade bilden som ska sparas. – Ändra träningsbildens bildförhållande – Om storleken inte är densamma kan du först använda Birme för att ändra storleken på flera bilder samtidigt. – Markera BLIP-alternativet och klicka på knappen Preprocess för att förbehandla bilderna

–Vänta tills träningen är klar. Bredvid varje träningsbild finns en txt-fil med en beskrivning av motsvarande bild –Beskrivningarna kan innehålla fel, så du kan redigera dem manuellt – Beskrivningarnas korrekthet påverkar i viss mån hur effektiv träningen blir

4. Träning –Välj Hypernetwork som du nyss skapade under träningen. 2. –Ange inlärningshastigheten 0.00005 – Vid den första träningen är 4 nollor lämpligt. Minska gradvis antalet nollor vid senare träning – Ange katalogen med textbeskrivningar och bilder –Ändra bildstorleken –Välj 2000 iterationssteg –Generellt tar det 1 timme att träna i 2000 steg med ett grafikkort i 10-serien och en halvtimme med ett grafikkort i 30-serien –Klicka på knappen Training Hypernetwork för att starta träningen

5. Visa resultat –När träningen har startat kan du se träningsprocessen i förhandsgranskningsfönstret

–Efter träningen kan du se träningsprocessen i … /stable-diffusion-webui/textual_inversion/date/… Du hittar träningsresultaten i mappen hyper networks –I mappen images finns resultaten från träningsprocessen –Du kan granska bilderna och avgöra vilket träningsresultat som är lämpligt

–I mappen hyper networks är filerna med suffixet .pt träningsmodellerna för stilen – Om du tycker att resultatet från steg 1400 är lämpligt kan du flytta pt-filen från steg 1400 till models/hyper networks och använda den som stil

–Använd träningsresultaten för att generera bilder –Välj stilen du nyss tränade i ”txt to img” och ”img to img” och generera bilder. –Om stilen inte är tillräckligt tydlig kan du öka faktorn

–ha kul!

Nyligen släpptes de senaste nyheterna och här är min förståelse

Stable Diffusion har nyligen introducerat en ny modell som heter DeepFloyd IF, som kraftigt förbättrar en rad problem med AI-bilder som kritiserats. AI-genererade bilder har till exempel problem med rumsliga relationer, figurer kan ha flera fingrar på armar och ben och modellen kan inte hantera komplexa logiska samband. Ärligt talat tror jag att framtiden för bild-AI ligger hos öppen källkod och privat driftsättning.

Mänskligheten är mångfaldig, och människor ser olika ut. Verktyg med vissa stilar och tendenser kan därför inte täcka ett stort område. Skillnaderna i människors estetik beror på att de har tränats på olika datamängder. Det är ingen skillnad mellan människor och AI. Privat driftsättning av träningen säkerställer estetisk självständighet, och ”självständighet” kan återskapa en större grad av ”mångfald”.