엣지 AI 아트: Txt2Img 개발 진행 보고서

Midjourney는 대중적으로 널리 사용되고 검증되면서 AI 생성 이미지의 몇 가지 문제점이 드러났습니다. 처음의 경이로움이 사라지고, Midjourney가 생성하는 이미지는 대체로 비슷한 스타일을 띠는 경향이 있습니다. 이를 두고 “크리미하다”고 표현할 수도 있겠지만, 지나치게 획일적입니다. 또한 Midjourney에는 ...가 없습니다. 무료 사용자는 이미지가 나머지 커뮤니티에 공개되며, 유료 사용자도 자신의 이미지가 다른 목적으로 “도용”될 가능성을 배제할 수 없습니다.

Stable Diffusion은 오픈소스 생태계에서 탄생했습니다. 플러그인 기능과 사용자의 창의성이 결합되면 더 많은 활용 사례를 탐구할 수 있습니다. Midjourney처럼 설명만 입력해 그림을 생성하는 데 그치지 않고, 직접 스타일 디자이너처럼 활용하게 될 것입니다. 그때부터 흥미롭고 가치 있는 일들이 시작됩니다.

커뮤니티에서는 일본 만화풍의 ChilloutMix, 중국 수묵화풍의 MoXin 등 다양한 스타일이 강한 모델은 물론, 영화배우의 얼굴을 모방한 모델도 찾아볼 수 있습니다. 이러한 학습 모델을 불러와 더욱 세밀하게 맞춤 설정한 이미지를 생성할 수 있습니다. 상업적으로 활용할 수 있는 단계에 이르면 시장의 중심이 Midjourney에서 Stable Diffusion으로 옮겨갈 것이라고 생각합니다.

Stable Diffusion 환경을 직접 호스팅하려면 무엇이 필요한가요?

하드웨어 준비

1. Windows 컴퓨터Windows 컴퓨터가 가장 적합하며, Mac 컴퓨터는 그래픽 카드 드라이버 문제를 더 많이 겪을 수 있습니다. 2. 6GB를 초과하는 NVIDIA GPU학습하려면 비디오 메모리가 최소 12GB 필요합니다.

3. 메모리 용량은 16GB를 초과해야 합니다8GB도 사용할 수 있지만, 커뮤니티의 우수한 모델을 불러오기는 어렵습니다. 구축 과정 및 주의 사항.

1. Python 환경 설치 설치 중에 Add Python to PATH가 선택되어 있는지 확인하세요.

2. Git 환경 설치

3. CMD에서 다음 명령어를 실행해 stable-diffusion을 다운로드합니다git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. stable-diffusion web-ui 시작파일 관리자에서 다운로드한 webui-user.bat 파일을 찾아 관리자 권한 없이 실행합니다.

5. 이전 단계의 안내에 따라 IP 주소를 엽니다. 그러면 사용자 인터페이스가 표시됩니다– 위 단계에서 오류가 발생하면 GPT에 도움을 요청해 문제를 해결할 수 있습니다.

작은 목표 설정 - 몇 장의 이미지로 작은 모델을 학습시키기

알아야 할 몇 가지 중요한 개념

기본 모델

– 출력 스타일에 영향을 주는 기본 모델입니다. 일러스트에 있는 원본 v1.5 모델을 사용할 수 있습니다.

– civiai에서 마음에 드는 모델을 다운로드해 지정된 위치인 …/stable-diffusion-webui/models/Stable-diffusion에 넣을 수 있습니다.

프롬프트 – 생성하려는 이미지를 텍스트로 설명해 입력합니다. 예: 밥그릇을 든 풍채가 거친 중국인 아버지, 특징

샘플링 단계 – 일반적으로 단계 수가 높을수록 결과가 정교해지지만 대기 시간도 길어집니다. 보통 20-40으로 설정합니다.

가로 및 세로 크기 – 512×512는 적절한 크기입니다. 이미지 비율에 특별한 요구 사항이 있다면 변경할 수도 있습니다.

생성 – 생성 버튼을 클릭해 이미지를 생성합니다. 한 번에 원하는 결과를 얻지 못했다면 여러 번 시도해 보세요.

시드 – 현재 생성된 구도가 마음에 든다면 아래에서 이미지를 저장해 다음 생성에서도 이 시드를 사용할 수 있습니다.

고급 옵션

추가 – 이 체크박스를 클릭해 확장 옵션을 엽니다. – 차이 강도를 높이면 이미지의 디테일이 향상됩니다. 이미지가 너무 단조롭다고 생각되면 이 값을 높일 수 있습니다.

모델에 스타일 적용하기 – Generate 버튼 아래의 빨간색 “show extra Networks” 버튼을 클릭해 추가 패널을 엽니다. – 미니어처는 civiai에서 다운로드하거나 직접 학습할 수 있습니다.

– 하이퍼네트워크는 더 범용적이고, LoRA는 인물 생성에 더 적합합니다.

– 미니 모델은 models 아래의 해당 폴더에 저장되며, 확인하고 선택할 수 있습니다.

– “style”을 선택하면 스타일 매개변수가 프롬프트에 추가되고, 뒤에 오는 매개변수는 스타일 강도를 나타냅니다.

미니 목표 달성을 위한 작업(학습)

1. 학습 세트 준비

– 멋진 스타일 모델을 학습하는 데는 이미지 약 20장이면 충분합니다. – 처음에는 특정 스타일의 이미지 5장으로도 괜찮습니다. – 학습 세트에 있는 이미지의 크기는 모두 같아야 합니다. 2. Hypernetwork 만들기 – 학습 메뉴에서 이름을 입력해 하이퍼네트워크를 만듭니다.

3. 이미지 전처리 – 이 단계에서 AI는 먼저 학습 이미지를 바탕으로 텍스트 설명을 생성합니다. – 전처리 이미지에서 학습 이미지 폴더 경로와 전처리된 출력 이미지 폴더 경로를 입력합니다. – 학습 이미지의 종횡비를 조정합니다. – 이미지 크기가 서로 다르면 먼저 Birme를 사용해 이미지 크기를 일괄 조정할 수 있습니다. – BLIP 옵션을 선택하고 Preprocess 버튼을 클릭해 전처리를 실행합니다.

–각 학습 이미지와 함께 생성되는 txt 파일이 완료될 때까지 기다리세요. 텍스트는 해당 이미지에 대한 설명입니다. –설명이 정확하지 않을 수 있으므로 직접 수정할 수 있습니다. – 설명의 정확도는 학습 효과를 어느 정도 좌우합니다.

4. 학습 –학습에서 방금 만든 Hypernetwork를 선택하세요. 2. –학습률을 0.00005로 입력하세요. – 초기 학습에는 0을 네 개 입력하는 것이 적절하며, 이후 학습에서는 0의 개수를 점차 줄이세요. – 텍스트 설명과 이미지가 들어 있는 디렉터리를 입력하세요. –이미지 크기를 변경하세요. –반복 횟수로 2000단계를 선택하세요. –일반적으로 2000단계 학습에는 10 시리즈 그래픽 카드로 1시간, 30 시리즈 그래픽 카드로 30분이 걸립니다. –Training Hypernetwork 버튼을 클릭해 학습을 시작하세요.

5. 결과 보기 –학습이 시작되면 미리 보기 창에서 학습 과정을 확인할 수 있습니다.

–학습이 끝나면 … /stable-diffusion-webui/textual_inversion/date/…에서 학습 과정을 확인할 수 있습니다. hyper networks 폴더에서 학습 결과를 찾을 수 있습니다. –images 폴더에는 학습 과정의 결과가 들어 있습니다. –이미지를 확인하고 적절한 학습 결과를 선택하세요.

–hyper networks 폴더에서 .pt 확장자가 붙은 파일은 학습된 스타일 모델입니다 – 예를 들어 1400단계의 결과가 적절하다고 생각되면, 해당 단계의 pt 파일을 스타일로 사용할 수 있도록 models/hyper networks로 옮기세요.

–학습 결과를 사용해 이미지 생성하기 –“txt to img”와 “img to img”에서 방금 학습한 스타일을 선택해 이미지를 생성하세요. –스타일이 충분히 강하지 않다면 강도를 높일 수 있습니다.

–즐겁게 사용하세요!

최근 공개된 최신 동향과 이에 대한 제 생각

최근 Stable Diffusion은 DeepFloyd IF라는 새 모델을 선보였으며, 비판받아 온 AI 이미지 생성의 여러 문제를 크게 개선했습니다. 예를 들어 AI가 생성한 이미지에는 공간 관계가 어색하거나, 손가락이 여러 개 달린 인물이 등장하거나, 복잡한 논리 관계를 표현하지 못하는 문제가 있습니다. 솔직히 말해 이미지 AI의 미래는 오픈 소스와 프라이빗 배포에 있다고 생각합니다.

인간 사회는 다양하며 시각적인 측면에서도 서로 다릅니다. 특정 스타일과 성향을 가진 도구로는 넓은 영역을 다룰 수 없습니다. 사람마다 미적 감각이 다른 이유는 서로 다른 학습 데이터 세트 때문입니다. 사람과 AI도 다를 바 없습니다. 학습을 프라이빗하게 배포하면 미적 감각의 독립성을 보장할 수 있고, 이러한 “독립성”은 더 큰 “다양성”을 실현할 수 있습니다.