ストレージやアプリを壊さずにローカルLLMを導入する方法

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

ホームNASへのローカルLLMの導入が難しいのは、最初のコマンドが複雑だからではありません。モデル、キャッシュ、コンテナ、APIサーバー、バックグラウンドジョブが、NASでファイル、バックアップ、メディア、データベース、アプリにすでに使われているストレージやシステムリソースを奪い合うからです。

初日からLLMをできるだけ速く動かすことが、最も安全な目標ではありません。安全性を高めるには、明確なストレージパス、厳格なリソース上限、制限された並列処理、そして動作確認の手順を用意しましょう。システムドライブをいっぱいにしたり、メモリを逼迫させたり、ほかのセルフホストアプリの信頼性を損ねたりする高速なモデルより、多少遅くてもローカルで安定して動くモデルのほうが一般的に適しています。

要点: LLM専用の領域を確保し、リソースに上限を設ける

ローカルLLMは、最初のモデルを入れる前に専用の領域を確保しておくべきです。つまり、モデルを取得したりWebUIに接続したりする前に、モデルファイル、キャッシュ、インデックス、ログ、アプリデータの保存場所を把握しておく必要があります。これらのファイルがDocker内の見えにくい場所や小さな起動ドライブに保存されると、導入は成功したように見えても、NAS本来の用途に必要な空き容量が知らないうちに消費されることがあります。

また、リソースに上限を設ける必要があります。LLMランタイムは、特に複数のモデルや並列リクエストを有効にすると、多くのRAM、VRAM、CPUスレッド、コンテキストメモリを使用することがあります。Dockerのリソース制約の説明によると、コンテナはカーネルのスケジューラーが許す範囲でホストのリソースを使用できます。また、メモリが逼迫するとメモリ不足が発生し、ほかのプロセスにも影響する可能性があります。

複数のユーザーが使うNASでは、ピーク時のベンチマーク性能よりも重要です。モデルサーバーが長いプロンプトに1つ回答しようとして、Plex、Jellyfin、Home Assistant、データベース、同期処理、バックアップ、ファイル共有が不安定になってはいけません。安全なローカルLLMの導入は、ストレージの割り当て、リソース制限、モデルの選択、動作確認から始まります。

最初のモデルを取得する前に確認すべきこと

最初のモデルをダウンロードする前に、最初に行う作業を決めましょう。軽いチャット用のローカルLLMと、RAGアシスタント、埋め込み処理、コーディング支援ツール、ファイルの読み書きができる自動化エージェントとでは、必要な要件が異なります。最初に用途を決めておかないと、サーバーに対して大きすぎたり、遅すぎたり、負荷が高すぎたりするモデルを取得してしまいがちです。

まずは次の点を確認します。

  • 用途: チャット、RAG、埋め込み、要約、自動化、コーディング、検索支援。
  • モデルサイズ:モデルファイルの容量と、複数のバリアントを保存するかどうか。
  • 量子化:サーバーで使える程度にモデルが圧縮されているか。
  • ストレージのパス:ホスト上でモデルファイルとキャッシュを保存する場所。
  • コンテナ内のパス:ホストのパスをコンテナ内にどうマッピングするか。
  • RAMとVRAM:他のアプリ用に残るメモリ容量。
  • CPUの余力:NASの処理を圧迫せずにモデルが使用できるスレッド数。
  • 並列処理:同時に処理できるリクエスト数や、読み込めるモデル数。
  • 既存のワークロード:バックアップ、メディアストリーミング、データベース、同期、ファイル共有。
  • 検証計画:実行後もNASが正常であることをどう確認するか。

この事前確認は無駄な作業ではありません。NASでローカルLLMをデプロイする際によくある問題、つまりモデルは応答するものの、その周辺のシステムの信頼性が低下する事態を防げます。

モデルファイルをシステムドライブに置かない

モデルファイルは予想以上の速さで容量が増えることがあります。モデルが1つなら問題なくても、複数のモデル、量子化バリアント、埋め込み、インデックス、WebUIデータ、ログが加わると、すぐに数十GB、あるいは数百GBに達することがあります。これらのファイルがシステムドライブやDockerのルート領域に保存されると、メインのストレージプールには十分な空きがあるように見えても、NASの重要な領域が不足するおそれがあります。

OllamaのFAQには、各オペレーティングシステムのデフォルトのモデル保存場所が記載されており、モデル保存ディレクトリは環境変数OLLAMA_MODELSで変更できると説明されています。NASやホームサーバーでは、デフォルトのパスが長期保存するモデルファイルの置き場所として適切とは限らないため、この点が重要です。

OllamaなどのモデルランナーをDockerで実行する場合、コンテナ内のパスとホストのパスは同じではないことに注意してください。コンテナ内の/root/.ollamaのようなディレクトリを、ストレージの保存先を予測しやすくするには、ホスト上の適切な場所にマッピングする必要があります。ボリュームをマッピングしないと、モデルファイルがDocker管理下のストレージ内に保存され、容量の増加を把握しにくく、後片付けも難しくなる場合があります。

デプロイ前に専用のモデルディレクトリを作成するのが安全です。たとえば、データプールやアプリ用ストレージボリュームにAIストレージフォルダーを用意します。バックアップ先、重要なデータベース、代替できないアプリデータとは分けてください。モデルディレクトリは十分な容量を確保し、内容を確認しやすく、後から古いモデルを整理できるよう記録しておきましょう。

関連ファイルの保存先も決めておきましょう。RAGインデックス、埋め込みデータ、ベクトルデータベース、ログ、アップロードされたドキュメントは、それぞれ別のストレージ消費要因になります。モデルファイルのことしか考えていないと、AIスタックのほかの部分で予想外に容量を使うことがあります。

メモリ、CPU、並列処理の上限を設定する

メモリ制限

ローカルLLMは多くのメモリを必要とします。モデルの重み、コンテキスト、ランタイムのオーバーヘッドに加え、複数のモデルを読み込む場合はその分のメモリも必要です。サーバーでデータベース、メディアサービス、ファイル同期、コンテナ、バックアップジョブも実行しているなら、利用可能なメモリをLLMが好きなだけ使える状態にすべきではありません。

Dockerは、1つのコンテナがホストを占有するのを防ぐコンテナのメモリ制限に対応しています。共有NASでは、これはモデルを高速化するためというより、システムの他の部分を保護するためのものです。LLMコンテナが独自の制限に達するほうが、サーバー全体がメモリ不足に陥るより通常は望ましいでしょう。

コアサービスのために余裕を残しておきましょう。NASに32GBのRAMがあり、稼働が集中する時間帯に通常のアプリが8GBから12GBを使うなら、残りをすべてLLMに割り当てないでください。ファイルシステムのキャッシュ、バックアップジョブ、データベース、一時的な負荷の急増に備えて余裕を残しましょう。他の処理が何も動いていないときしか使えないモデルは、複数のユーザーが使うホームサーバーの安全な標準設定とは言えません。

GPU推論を使用する場合は、VRAMも重要です。OllamaのFAQによると、CPU推論ではシステムメモリを使用し、GPU推論ではVRAMを使用します。また、モデルを同時に読み込めるかどうかは、利用可能なメモリまたはVRAMによって決まります。つまり、GPUは大いに役立ちますが、メモリの計画が不要になるわけではありません。

CPU制限

CPU制限は応答性を守ります。ローカルLLMは、プロンプト処理やトークン生成中に多くのスレッドを使用することがあります。CPUを使い切ると、NASのダッシュボードの動作が遅くなり、メディアのストリーミングが途切れ、オートメーションに遅延が生じ、データベースの応答も遅くなる可能性があります。

Dockerには、--cpus、--cpu-quota、--cpuset-cpusなどのCPU制御機能があります。常に厳しい制限が必要なわけではありませんが、通常のNAS稼働中にLLMがどれだけCPUを使用できるか決めておくべきです。回答に少し時間がかかってもサーバーの応答性を保てるモデルのほうが、すべてのスレッドを使い切るモデルより適していることがほとんどです。

CPUのみの推論は、制限の影響を特に受けやすいものです。GPUやNPUがない場合、LLMはCPUを使用する他のすべてのサービスと直接競合します。NASがすでにメディアのトランスコード、インデックス作成、圧縮、バックアップ、データベースを処理しているなら、ピーク時にLLMを無制限に実行すべきではありません。

モデル数と並列リクエスト

並列処理は見落としがちです。1つのモデルが1つのプロンプトに答えるだけなら問題ない場合もあります。しかし、複数のユーザー、WebUI、自動化ワークフロー、RAGツールが加わると、リクエストがすぐに重なります。リクエストごとにコンテキストメモリとCPU負荷が増える可能性があります。

OllamaのFAQでは、並列リクエストと読み込み済みモデルの動作について説明しており、OLLAMA_MAX_LOADED_MODELS、OLLAMA_NUM_PARALLEL、OLLAMA_MAX_QUEUEなどの設定も取り上げています。同時実行数が、安定した単一ユーザー向けの構成をリソースの急増に変えてしまうことがあるため、これらの設定はNASで重要です。

家庭内で共有するサーバーでは、まず保守的な上限を設定しましょう。モデルを1つだけ読み込み、同時に処理するリクエストを1件にするのが、より安全な基準です。ストレージ、メモリ、CPU、その他のサービスが安定していることを確認してから、上限を引き上げましょう。

話題性ではなく、サーバーに合ったモデルを選ぶ

最初に選ぶモデルは、ダウンロードできる最大のモデルではありません。許容できる品質でタスクを完了できる最小のモデルです。NASでは、モデルの選択もシステム保護の一環です。

量子化モデルは、実用的な出発点となることがよくあります。llama.cppのドキュメントでは、量子化モデルがモデルの重みの精度を下げる方法について説明しています。たとえば、高精度のGGUFモデルファイルを、より小さな形式に変換します。これによりモデルのサイズを小さくし、実用的な推論性能を高められますが、品質とのトレードオフが生じる場合もあります。

多くの家庭用NASの用途では、このトレードオフは通常許容できます。簡単なチャット、要約、埋め込み、RAGによる補助、ファイル整理、小規模な自動化などが該当します。一方、深い推論、長いコンテキスト、複数ユーザーでの性能、高精度なコーディングが必要なタスクには、あまり適していません。

サーバーの状態を起点にします。

サーバーの状態 より安全な開始方法 まず避けること
8GB~16GBのRAM、CPUのみ 小型の量子化モデル、埋め込み、軽量なチャット 大規模モデル、長いコンテキスト、複数ユーザー
16GB~32GBのRAM、iGPU / NPU 簡単なチャット、RAG、検索アシスタント 画像生成、高負荷なコーディングアシスタント
十分なVRAMを備えたGPU より大きなモデルまたはより高速な推論 モデルを無制限に積み重ねる
多数のアプリを実行する共有NAS スケジュール設定したAIジョブ、1つのモデル、1人のユーザー 常時稼働の高負荷な推論
NASと独立したGPUマシンを組み合わせる NASはデータを保存し、AIマシンは推論を実行する すべての計算処理をNASに押し込む

安全なデプロイは、小さく始めることで安定した基準を作れます。その後で、より大きなモデル、より長いコンテキスト、WebUIとの連携を試せます。システムの動作が遅くなった場合、どの変更が原因なのか把握できます。

LLMを重要なアプリやバックアップから遠ざける

ローカルLLMは、最も頼りにしているサービスと障害の影響範囲を共有すべきではありません。AIモデルの保存先、バックアップ、アプリのデータベース、一時ファイルがすべて、計画性のない同じ場所にあると、ひとつのワークロードがほかにも問題を引き起こす可能性があります。

モデルキャッシュやAIの一時データは、バックアップ先から離しておきましょう。通常、モデルのディレクトリは再生成できますが、バックアップリポジトリはそうではありません。バックアップ先をモデルファイルや一時的なAIデータでいっぱいにすると、バックアップの失敗、同期ジョブのエラー、復元ポイントの混乱につながることがあります。

可能であれば、アプリのデータベースを分けてください。Home Assistant、メディアサーバー、フォトライブラリ、パスワードマネージャーなどのセルフホストアプリは、急なI/O負荷やディスク容量不足に弱い小規模なデータベースに依存していることがあります。計画なしに、大容量モデルのダウンロードやRAGのインデックス作成で同じストレージ領域を圧迫しないでください。

実行時間も考慮してください。夜間にバックアップを実行するなら、同じ時間帯に負荷の高いインデックス作成をスケジュールしないでください。夕方にメディアをストリーミングするなら、その時間帯にCPUのみを使う長文コンテキスト推論を実行しないでください。NASには複数のジョブを処理できる容量があっても、すべてのジョブを最大負荷で同時に実行できるとは限りません。

ファイルの書き込みやツールの呼び出しが可能なLLMワークフローには、ガードレールを設けてください。サンドボックス化したパス、確認手順、ログを使用します。モデルには操作を提案させ、書き込み、削除、移動、アプリの変更には、決定論的なコードまたはユーザーの確認を使いましょう。安全なLLMデプロイは、システムリソースだけでなく、アクセス可能なデータも保護します。

LLMがほかのサービスのリソースを圧迫しているときの警告サイン

不適切なデプロイがすぐに失敗するとは限りません。多くの場合、最初は無関係に見える症状が現れます。

急激なディスク使用量の増加も警告サインです。モデルをダウンロードした後にシステムドライブ、Dockerのルートディレクトリ、アプリのストレージが急速に増える場合、想定した場所にモデルのパスがマウントされていない可能性があります。コンテナ内のパスだけでなく、実際のホスト側のパスを確認してください。

コンテナの再起動も兆候のひとつです。LLMコンテナ、データベース、Home Assistant、メディアサーバー、WebUIが何度も再起動する場合は、メモリ不足、OOMログ、CPUの飽和状態を確認してください。LLMは動作し続けていても、ほかのサービスのリソースが不足している可能性があります。

遅いNASダッシュボードも問題です。プロンプトの処理中にWeb UIの動作が重くなる場合、ローカルLLMがCPUスレッドやメモリを使いすぎているか、ディスクI/Oに負荷をかけすぎている可能性があります。モデルが正しく回答できても、デプロイが正常とは限りません。

メディアのバッファリング、自動化処理の遅延、ファイル共有の遅さ、バックアップ時間帯の逸失は、より明確な兆候です。これらはNASの主要な役割です。LLMの導入後に支障が出た場合は、モデルの小型化、制限の強化、スケジュールの改善、または計算処理用ホストの分離が必要です。

APIの動作も確認しましょう。WebUI、RAGツール、自動化システムの接続時にLLMのAPIが応答しなくなる、キューが無期限に滞留する、または不安定になる場合は、サーバーに対して並列処理数が多すぎる可能性があります。連携機能を追加する前に、読み込み済みモデル数、アクティブなリクエスト数、キューの長さを制限してください。

NASにローカルLLMをより安全に導入する手順

最初からあらゆるAIツールを一度にインストールするのは避けましょう。まずはローカルLLMサービスを1つ、モデルを1つ、ストレージパスを1つ、テスト用途を1つに絞ります。こうすることで、導入環境を把握しやすくなり、問題の切り分けも安全に行えます。

より安全な導入手順は次のとおりです。

  1. 軽いチャット、埋め込み、RAGのテストなど、用途を1つ選びます。
  2. 用途を満たせる範囲で、最も小さなモデルを選びます。
  3. 保存先が明確なストレージパスに、専用のモデルディレクトリを作成します。
  4. そのディレクトリをコンテナにマウントするか、ランナーがそのディレクトリを使用するよう設定します。
  5. メモリとCPUの制限を設定します。
  6. 同時リクエスト数と読み込み済みモデル数を制限します。
  7. まずはテスト用のプロンプトを1つ、または小規模なRAGインデックスを1つ使います。
  8. 実行中は、ディスク、RAM、CPU、GPU、ログ、応答時間を監視します。
  9. 既存のアプリとバックアップが引き続き正常に動作することを確認します。
  10. その後で、Open WebUI、RAGツール、自動化ワークフローなどの連携機能を追加します。

この順序は手早いインストールガイドより遅く感じるかもしれませんが、想定外の問題を減らせます。何か問題が起きても、原因がモデル、パス、リソース制限、WebUI、RAGインデックス、またはほかの連携機能のどれにあるのかを特定しやすくなります。

ストレージとアプリの安全性を確認する方法

動作確認は「モデルが応答した」だけで終わらせてはいけません。ローカルLLMはプロンプトに答えられても、誤ったディスクの容量を使い切ったり、ほかのコンテナのリソースを圧迫したり、バックアップジョブを遅らせたりすることがあります。

まずはストレージの確認から始めましょう。モデルファイルが想定したホスト側のパスに保存されていることを確認します。システムドライブにまだ空き容量があるか確認してください。Dockerのルートディレクトリが予期せず肥大化していないか確認します。モデルのキャッシュ、ログ、インデックス、アプリデータが、重要なバックアップやデータベースと混在していないことを確認してください。

次に、リソースを確認します。プロンプトへの応答後やインデックス作成後に、CPU使用率が通常の状態に戻ることを確認してください。メモリ使用量は、あらかじめ設定した上限を下回る状態を保つ必要があります。通常の使用時にスワップ使用量が増えないことも確認します。GPU推論を有効にしている場合は、モデルが実際にGPUを使用していることと、VRAMの負荷が許容範囲内であることを確認してください。

次にアプリの安定性を確認しましょう。ファイル共有を開き、メディアをストリーミング再生し、Home Assistantのオートメーションを実行し、NASのダッシュボードを閲覧して、データベースやアプリのダッシュボードが引き続き応答することを確かめてください。LLMの稼働中にだけこれらのサービスが遅くなるなら、CPU、メモリ、スケジュールの境界をより厳しく設定する必要があります。

ログを確認しましょう。再起動ループ、OOMメッセージ、モデルの読み込み失敗、権限エラー、GPUへのアクセス不可、ボリュームのマウント失敗、APIのタイムアウトの繰り返しがないかを確認します。ログを見ると、「動作している」導入環境が実は不安定な状態であることが分かる場合がよくあります。

最後に、エンドポイントの境界を確認しましょう。モデルサーバーがAPIを公開する場合、どこからアクセスできるかを把握してください。ローカルLLMのエンドポイントが、意図せず公開状態にならないようにしましょう。認証、リバースプロキシのルール、VPNアクセスなど、管理された境界の内側に意図的に配置した場合を除き、内部に限定してください。

ZimaOS AI Searchに見る、管理されたAI導入パターン

管理されたNAS AIワークフローには、モデルの配置先、リソース要件、実行時の想定、検証手順を明確に定める必要があります。モデルをダウンロードし、GPU時間を消費し、好きな場所にデータを書き込む無制限のバックグラウンドサービスのように動作させてはいけません。

ZimaOS-AIは、こうした管理されたパターンの有用な例です。AI検索に関するZimaSpaceガイドでは、ローカルLLMを使って画像、音声、動画から特徴を抽出し、ZimaOSの検索機能に役立てるよう設計されたモジュールだと説明されています。この位置付けが重要です。AIワークロードは検索と特徴抽出を支援するものであり、NASを制限のないチャットサーバーに変えるものではありません。

同じガイドでは、リソースの境界も明確に示されています。NVIDIAのディスクリートGPUシステムとIntelの統合GPUシステム、それぞれのインストール手順が説明されています。NVIDIAの手順ではCUDA互換GPUのサポートが必要です。一方、Intelの統合GPUを使う手順では、空きRAMが最低8GB必要で、CPUは統合グラフィックス搭載のi5-1235U以上が推奨されています。また、システムに最低20GBの空き容量が必要とされており、AppDataの移行後でない限り、モデルファイルは/media/ZimaOS-HD/AppData/.modelsに保存されることも記載されています。

それは、安全なLLMの導入にあたって、稼働を始める前に必要となる情報です。ZimaCube 2 AI NASのようなプライベートクラウドデバイスは、モデルの配置先、GPUまたはiGPUのサポート、RAM、ストレージ容量、スケジュールがワークロードに合っていれば、より高度なローカルAIワークフローを支えられます。ただし、重要なのはブランド名ではなく、境界を把握することです。モデルの配置先、使用するハードウェア経路、リソースの使用が許可されるタイミングを把握しましょう。

トラブルシューティングの詳細からは、導入の検証方法もわかります。AI検索でAI関連の結果が表示されない場合、モデルのダウンロードが続いている、特徴抽出の処理中である、Hugging Faceにアクセスできない、またはVRAMが不足してCPU / メモリへのフォールバックが発生している可能性があります。また、このガイドでは、状態確認にCall-History、ネットワークトラフィック、journalctl -xef -u zimaos-aiを利用する方法も紹介しています。

これは、NAS上でローカルLLMを導入する際に役立つ方法です。保存先とリソースを決め、ログを監視し、機能が実際に動作することを確認し、NASを使い続けられるよう負荷の高い処理のスケジュールを調整しましょう。

よくある質問

NAS上のローカルLLMのモデルファイルはどこに保存すべきですか?

十分な空き容量があるデータボリュームまたはアプリ用ストレージ上の、専用のモデルファイル用ディレクトリに保存してください。モデルが知らないうちに起動ドライブ、Dockerのルートディレクトリ、またはバックアップ先に保存されるのは避けましょう。確認、整理、移行が簡単なパスを選んでください。

Ollamaは直接インストールするべきですか、それともDockerで実行するべきですか?

どちらでも運用できます。Dockerは分離と導入が容易ですが、モデルの保存先を正しくマウントし、リソース制限を設定する必要があります。システムによっては直接インストールする方が簡単ですが、その場合もモデルのディレクトリ、権限、メモリ使用量、サービスの分離を確認してください。

他のアプリ用にRAMをどのくらい確保すべきですか?

LLMにメモリを割り当てる前に、NASのOS、ファイルシステムのキャッシュ、データベース、メディアサービス、バックアップ、通常のコンテナに必要なRAMを十分に確保してください。RAMの総容量を基準にモデルのサイズを決めてはいけません。コアサービスに余裕を持たせた後の空きRAMを基準にしてください。

ローカルLLMによって他のDockerコンテナに問題が起きることはありますか?

メモリ、CPU、ディスクI/O、ストレージ容量を使いすぎると、他のコンテナに影響することがあります。直接「壊す」わけではないかもしれませんが、リソース制限なしで導入すると、動作の低下、再起動ループ、OOMイベント、バックアップ時間の逸失、データベース処理の失敗につながる可能性があります。

LLMを別のマシンに移すべきなのはどんなときですか?

より大きなモデル、長いコンテキスト、複数ユーザーへの対応、GPU負荷の高い処理、またはNASの動作が遅くなるほどの高速応答が必要なら、LLMを別のマシンに移しましょう。その構成では、NASをストレージおよびデータソースとして使い続けながら、GPU対応のデスクトップPC、ミニPC、またはAIサーバーで推論を処理できます。

NASで安全にローカルLLMを運用するには、モデルへの期待よりも境界の設定から始めましょう。モデルの保存先を明確にし、コンテナのリソースを制限して、重要なアプリやバックアップを保護し、最初のプロンプトを送った後にサーバー全体を確認します。LLMが動作し、NASとしての信頼性も保たれて初めて、導入は成功です。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.