Sztuka AI na brzegu sieci: raport z postępów prac nad Txt2Img

Midjourney zostało szeroko przetestowane przez użytkowników, którzy dostrzegli pewne problemy z obrazami generowanymi przez AI. Początkowy zachwyt ustępuje świadomości, że obrazy generowane przez Midjourney mają zwykle podobny styl, który można określić jako „kremowy” i zbyt jednolity. Ponadto, jeśli korzystasz z darmowej wersji Midjourney, Twoje obrazy będą widoczne dla reszty społeczności, a nawet jako płatny użytkownik nie możesz wykluczyć, że zostaną „skradzione” i wykorzystane w innych celach.

Stable Diffusion wywodzi się z ekosystemu open source, a dzięki możliwościom wtyczek i kreatywności użytkowników można odkrywać kolejne zastosowania. Nie zadowolisz się po prostu generowaniem obrazu na podstawie opisu, jak w Midjourney. Potraktujesz go jako projektanta stylu, i właśnie wtedy zacznie się prawdziwa zabawa oraz pojawią się wartościowe możliwości.

W społeczności znajdziesz wiele modeli o wyrazistym stylu, takich jak ChilloutMix w stylu japońskiej mangi, MoXin w stylu chińskiego tuszu, a nawet modele naśladujące twarze gwiazd filmowych. Możesz załadować te wytrenowane modele, aby generować obrazy z większymi możliwościami dostosowania. Gdy technologia rzeczywiście stanie się dostępna komercyjnie, moim zdaniem uwaga rynku przesunie się z Midjourney na Stable Diffusion.

Czego potrzebujesz, aby samodzielnie uruchomić środowisko Stable Diffusion?

Przygotowanie sprzętu

1. Komputer z systemem WindowsNajlepiej komputer z systemem Windows. Na komputerach Mac mogą wystąpić większe problemy ze sterownikami karty graficznej. 2. Karta graficzna NVIDIA z co najmniej 6 GB pamięciJeśli chcesz trenować modele, potrzebujesz co najmniej 12 GB pamięci wideo.

3. Pamięć RAM powyżej 16 GB8 GB pamięci RAM wystarczy, ale załadowanie znakomitych modeli dostępnych w społeczności będzie trudne.

1. Zainstaluj środowisko Python. Podczas instalacji upewnij się, że jest zaznaczona opcja Add Python to PATH.

2. Zainstaluj środowisko git

3. W wierszu poleceń uruchom następujące polecenie, aby pobrać stable-diffusiongit clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. Uruchom interfejs webowy stable-diffusionZa pomocą menedżera plików znajdź pobrany plik webui-user.bat i uruchom go jako zwykły użytkownik.

5. Zgodnie z poleceniem z poprzedniego kroku otwórz adres IP, a wyświetli się interfejs użytkownika– Jeśli wystąpi błąd w powyższych krokach, możesz poprosić GPT o pomoc w jego rozwiązaniu.

Zaprojjektuj niewielki cel – kilka obrazów do wytrenowania małego modelu

Kilka ważnych pojęć, które warto zrozumieć

główny model

– Główny model wpływa na styl generowanego obrazu; możesz użyć oryginalnego modelu v1.5 pokazanego na ilustracji

– Możesz pobrać wybrany model ze strony civiai i umieścić go w określonej lokalizacji…/stable-diffusion-webui/models/Stable-diffusion

prompt – Wpisz tekstowy opis obrazu, który chcesz wygenerować, na przykład: „A weathered Chinese father holding a rice bowl, Special Features”

Kroki próbkowania – Ogólnie rzecz biorąc, im więcej kroków, tym bardziej dopracowany obraz, ale też dłuższy czas oczekiwania. Zazwyczaj ustawiam wartość w zakresie 20-40.

Szerokość i wysokość – 512×512 to rozsądny rozmiar. Jeśli masz szczególne wymagania dotyczące proporcji obrazu, możesz je również zmienić

generowanie – Kliknij przycisk Generate, aby rozpocząć generowanie. Jeśli efekt nie będzie zadowalający, spróbuj kilka razy

ziarno – Jeśli podoba Ci się aktualnie wygenerowana kompozycja, możesz użyć tego samego ziarna przy kolejnym generowaniu, zapisując poniższy obraz.

opcje zaawansowane

Dodatkowe opcje – Zaznacz to pole wyboru, aby otworzyć opcje zaawansowane – Intensywność różnic może zwiększyć szczegółowość obrazu; jeśli uważasz, że obraz jest zbyt prosty, możesz zwiększyć tę wartość

Dodaj styl do modelu – Kliknij czerwony przycisk „show extra Networks” pod przyciskiem Generate, aby rozwinąć dodatkowy panel – Miniatury można pobrać ze strony civiai albo wytrenować samodzielnie.

– Hypernetwork jest bardziej uniwersalny, a LoRA lepiej sprawdza się przy generowaniu portretów

– Małe modele są umieszczane w odpowiednim folderze w katalogu models, skąd można je wyświetlić i wybrać

– Po wybraniu opcji „style” parametry stylu zostaną dodane do promptu, a liczba po nich określa intensywność

Czynności niezbędne do osiągnięcia małego celu (trening)

1. Przygotuj zestaw treningowy

– Około 20 obrazów wystarczy do wytrenowania dobrego modelu stylu – Na początek wystarczy 5 obrazów w określonym stylu – Wszystkie obrazy w zestawie treningowym muszą mieć identyczny rozmiar 2. Utwórz Hypernetwork – W sekcji treningu wpisz nazwę, aby utworzyć sieć Hypernetwork

3. Wstępne przetwarzanie obrazów – Na tym etapie AI najpierw wygeneruje tekstowy opis na podstawie obrazu treningowego. – W polu obrazu po wstępnym przetworzeniu wpisz ścieżkę do folderu z obrazem treningowym i ścieżkę do folderu, w którym zostanie zapisany przetworzony obraz. – Zmień proporcje obrazu treningowego – Jeśli obrazy mają różne rozmiary, możesz najpierw użyć narzędzia Birme, aby zbiorczo zmienić ich rozmiar. – Zaznacz opcję BLIP i kliknij przycisk Preprocess, aby rozpocząć wstępne przetwarzanie

–Poczekaj na zakończenie treningu. Obok każdego obrazu treningowego powinien znajdować się plik txt z opisem danego obrazu –Opisy mogą zawierać nieścisłości, które można poprawić ręcznie – Dokładność opisów w pewnym stopniu decyduje o skuteczności treningu

4. Trening –Wybierz utworzoną przed chwilą Hypernetwork. 2. –Ustaw learning rate na 0.00005 – W initial training odpowiednie są 4 zera, a podczas późniejszego treningu stopniowo zmniejszaj ich liczbę – Wprowadź katalog zawierający opisy tekstowe i obrazy –Zmień rozmiar obrazu –Wybierz 2000 kroków iteracji –Ogólnie rzecz biorąc, trening 2000 kroków trwa 1 godzinę na karcie graficznej z serii 10 i pół godziny na karcie z serii 30 –Kliknij przycisk Training Hypernetwork, aby rozpocząć trening

5. Prezentacja efektów –Po rozpoczęciu treningu jego przebieg będzie widoczny w oknie podglądu

–Po zakończeniu treningu jego przebieg można zobaczyć w … /stable-diffusion-webui/textual_inversion/date/… Wyniki treningu znajdziesz w folderze hyper networks –w folderze images znajdują się obrazy powstałe w trakcie treningu –Możesz je przejrzeć i zdecydować, który wynik treningu jest odpowiedni

–W folderze hyper networks pliki z rozszerzeniem .pt to modele wytrenowanych stylów – Na przykład, jeśli uznasz, że wynik z kroku 1400 jest odpowiedni, możesz przenieść plik pt z kroku 1400 do models/hyper networks i używać go jako stylu

–Generowanie obrazów na podstawie wyników treningu –W zakładkach „txt to img” i „img to img” wybierz właśnie wytrenowany styl i wygeneruj obraz. –Jeśli styl nie jest wystarczająco wyrazisty, możesz zwiększyć jego współczynnik

–Miłej zabawy!

Niedawno opublikowano najnowsze informacje o postępach i moje przemyślenia

Niedawno Stable Diffusion wprowadziło nowy model o nazwie DeepFloyd IF, który znacznie poprawia szereg problemów krytykowanych w obrazach generowanych przez AI. Na przykład obrazy generowane przez AI mają problemy z relacjami przestrzennymi, postacie mają dodatkowe palce u kończyn, a model nie potrafi uwzględniać złożonych zależności logicznych. Szczerze mówiąc, uważam, że przyszłość AI do generowania obrazów należy do otwartego oprogramowania i prywatnego wdrażania modeli.

Społeczeństwo ludzkie jest zróżnicowane, także pod względem wizualnym, a narzędzia o określonych stylach i skłonnościach nie są w stanie objąć szerokiego zakresu. Różnice w estetyce między ludźmi wynikają z odmiennych zbiorów treningowych. Nie ma tu różnicy między ludźmi a AI, a prywatne wdrażanie modeli pozwala zachować niezależność estetyczną. „Niezależność” może w większym stopniu przywrócić „różnorodność”.