エッジAIアート：Txt2Img開発進捗レポート

Midjourneyは広く試され、検証されてきたため、AI生成画像に関するいくつかの問題が明らかになっています。最初の驚きが薄れるにつれ、Midjourneyが生成する画像はたいてい同じようなスタイルに偏り、「クリーミー」で画一的すぎると感じるかもしれません。また、Midjourneyでは無料ユーザーの画像がコミュニティのほかのユーザーにも公開され、有料ユーザーであっても、画像が別の目的で「盗用」される可能性を否定できません。

Stable Diffusionはオープンソースのエコシステムから生まれ、プラグイン機能とユーザーの創造性が組み合わさることで、さらに多くの用途が生まれます。Midjourneyのように説明文から画像を生成するだけでは物足りなくなり、スタイルデザイナーとして活用するようになるでしょう。そこから、楽しくて価値のあることが始まります。

コミュニティでは、日本のマンガ風のChilloutMixや中国の水墨画風のMoXin、さらには映画スターの顔を模倣したモデルなど、個性豊かなモデルを数多く見つけられます。こうした学習済みモデルを読み込めば、より自由度の高い画像を生成できます。商用利用が本格化する段階に進めば、市場の注目はMidjourneyからStable Diffusionへ移ると思います。

Stable Diffusion環境をセルフホストするには何が必要ですか？

ハードウェアの準備

1. WindowsパソコンWindowsパソコンがおすすめです。Macではグラフィックカードのドライバーで問題が発生する場合があります。2. 6GB以上のNV GPU学習を行う場合は、少なくとも12GBのVRAMが必要です。

3. メモリは16GB以上8GBでも問題ありませんが、コミュニティの優れたモデルを読み込むのは困難です。構築手順と注意事項。

1. Python環境をインストールする インストール中に、Add Python to PATHにチェックが入っていることを確認してください。

2. git環境をインストールする

3. CMDで次のコマンドを実行してstable-diffusionをダウンロードするgit clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.

4. stable-diffusion web-uiを起動するファイルマネージャーでダウンロードしたwebui-user.batファイルを探し、管理者としてではなく実行します。

5. 前の手順の指示に従ってIPアドレスを開くと、ユーザーインターフェースが表示されます。– 上記の手順でエラーが発生した場合は、GPTに解決方法を尋ねてください。

小さな目標を設定する – 小規模なモデルを学習させるために、写真を数枚用意する

理解しておくべき重要な概念

メインモデル

– 出力のスタイルに影響するメインモデルです。イラストでは、オリジナルのv1.5モデルを使用できます

– civiaiで気に入ったモデルをダウンロードし、指定の場所（…/stable-diffusion-webui/models/Stable-diffusion）に配置します。

プロンプト – 生成したい画像の説明を入力します。例：使い込まれた茶碗を持つ中国人の父親、特徴

サンプリングステップ数 – 一般的に、ステップ数が多いほど精細になりますが、待ち時間も長くなります。通常は20～40に設定します。

幅と高さ – 512×512が妥当なサイズです。画像の縦横比に特別な要望がある場合は、変更することもできます

生成 – 「Generate」ボタンをクリックして生成を実行します。1回で満足できない場合は、何度か試してみてください

シード – 現在生成された構図が気に入った場合は、下の画像を保存すると、次回の生成でも同じシードを使用できます。

詳細オプション

その他 – このチェックボックスをクリックして、拡張オプションを開きます – 差分強度を上げると画像の細部を強調できます。画像が単調すぎると感じる場合は、この値を上げてください

モデルにスタイルを適用する – 「Generate」ボタンの下にある赤い「show extra Networks」ボタンをクリックして、追加パネルを開きます – ミニモデルはciviaiからダウンロードするか、自分で学習させることができます。

– Hypernetworkはより汎用的で、LoRAはポートレートの生成に適しています

– ミニモデルは「models」内の対応するフォルダに配置され、確認して選択できます

– 「style」を選択すると、スタイルのパラメーターがプロンプトに追加され、その後の数値は適用強度を表します

（学習）ミニゴールを達成するための操作

1. 学習セットを準備する

– 素敵なスタイルの小さなモデルを学習させるには、画像は約20枚あれば十分です – 最初は、特定のスタイルの画像が5枚あれば大丈夫です – 学習セット内の画像はすべて同じサイズにする必要があります 2. Hypernetworkを作成する – 「Training」で名前を入力して、Hypernetworkを作成します

3. 画像を前処理する – このステップでは、AIがまず学習画像をもとにテキストの説明を生成します。 – 前処理画像の欄に、学習画像のフォルダのパスと、前処理後の画像を出力するフォルダのパスを入力します。 – 学習画像の縦横比を調整します – サイズが異なる場合は、まずBirmeを使って画像のサイズを一括調整できます。 – BLIPオプションにチェックを入れ、「Preprocess」ボタンをクリックして前処理を実行します

–各学習用画像の横にtxtファイルが作成されるまで待ちます。ファイルには対応する画像の説明が記載されています。 –説明に不正確な部分がある場合は、手動で修正できます。 – 説明の正確さは、学習の効果をある程度左右します。

4. 学習 –学習では、作成したばかりのHypernetworkを選択します。 2. –学習率に0.00005を入力します。 – 初期学習ではゼロを4つにするのが適切です。その後の学習では、ゼロの数を徐々に増やします。 – テキスト説明と画像のあるディレクトリを入力します。 –画像サイズを変更します。 –反復回数を2000に設定します。 –一般的に、2000ステップの学習には、10シリーズのグラフィックカードで1時間、30シリーズのグラフィックカードで30分かかります。 –「Training Hypernetwork」ボタンをクリックして学習を開始します。

5. 効果の確認 –学習を開始すると、プレビューウィンドウで学習過程を確認できます。

–学習後は、… /stable-diffusion-webui/textual_inversion/date/…で学習過程を確認できます。学習結果はhyper networksフォルダーにあります。 –imagesフォルダーには学習過程の結果が保存されています。 –画像を確認して、適切な学習結果を選んでください。

–hyper networksフォルダーにある、拡張子が.ptのファイルが学習済みスタイルモデルです – たとえば、ステップ1400の結果が適切だと思う場合は、ステップ1400のptファイルをmodels/hyper networksに移動し、スタイルとして使用できます。

–学習結果を使って画像を生成する –「txt to img」と「img to img」で、先ほど学習したスタイルを選択して画像を生成します。 –スタイルが十分に反映されない場合は、係数を上げてください。

–楽しみましょう！

最近公開された最新情報と、それについての私の考え

最近、Stable DiffusionにDeepFloyd IFという新しいモデルが登場し、批判されてきたAI画像生成のさまざまな問題が大きく改善されました。たとえば、AI生成画像における空間関係の不自然さ、手足の指が多すぎる人物、複雑な論理関係を表現できないといった問題です。率直に言って、画像生成AIの未来はオープンソースと個人環境での運用にあると考えています。

人間社会は多様で、見た目にもさまざまです。特定のスタイルや傾向を持つツールでは、広い範囲をカバーできません。人間の美的感覚の違いは、異なる学習データセットによるものです。人間とAIに違いはありません。美的感覚の独立性を保つには、個人環境で学習させることが重要で、「独立性」によって、より大きな「多様性」を実現できます。