専用GPUなしで自宅のNAS上でローカルAIを実行できますか?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

家庭用NASでは、専用GPUがなくても一部のローカルAIワークロードを実行できます。ただし、モデルが起動するかどうかだけを考えるのでは十分ではありません。重要なのは、ワークロードがCPU、利用可能なRAM、モデルサイズ、ストレージの処理、応答時間をどれだけ待てるかに見合っているかどうかです。

多くの一般家庭のユーザーにとって、GPUのないNASは、小規模モデル、埋め込み、ローカル検索、プライベートなRAG形式のワークフローを試すのに妥当な環境です。一方、大規模モデルとのリアルタイムチャット、大量の画像生成、長いコンテキストを使った推論、バックアップやメディアのインデックス作成、ファイル転送と同時に実行するバックグラウンドAIタスクを求めると、実用性は下がります。

要点:専用GPUがなくても、制限がなくなるわけではない

はい、専用GPUがなくても家庭用NASでローカルAIを実行できます。特に、小規模または量子化されたモデルを使い、NASを高速なワークステーションではなく、低消費電力のローカルAIボックスとして扱う場合に適しています。CPUのみの構成でも、実験、軽量なチャット、ローカルドキュメント検索、埋め込み、バックグラウンドでのインデックス作成に役立ちます。

制約となるのは使い勝手です。技術的には読み込めるモデルでも、応答が遅すぎたり、メモリを使いすぎたり、ファイルの提供、コンテナの実行、バックアップの処理、メディアのストリーミングと並行してNASの動作を重くしたりする可能性があります。

避けるべき誤解はシンプルです。専用GPUがないからといって、ハードウェアの制限がなくなるわけではありません。GPUアクセラレーションがない場合、NASはCPUスレッド、システムメモリ、ストレージ速度、ワークロードのスケジューリングに大きく依存します。

家庭用NASでローカルAIに現実的にできること

専用GPUのない家庭用NASは、高速な対話型生成よりも、軽量なAIタスクやバックグラウンド処理に向いています。まずは、メモリに無理なく収まり、応答が遅くても許容できるワークロードから始めるのが最適です。ローカル検索、埋め込み、小規模なチャットモデル、ドキュメントのインデックス作成、簡単な要約、プライベートなナレッジベースの実験などが該当します。

Ollamaが実用的な例のひとつなのは、ドキュメントにCPUのみでのDocker実行方法と、GPU関連の別のオプションが記載されているためです。これは、どのNASでもCPU推論が高速に感じられるという意味ではありません。モデルと期待する性能が小規模な範囲に収まるなら、CPUのみでローカルモデルをホストするのが有効な出発点だということです。

この違いが重要なのは、「ローカルAI」が実にさまざまなワークロードを含むからです。1B~3Bモデルに短い質問をすることと、70Bモデルを実行すること、画像を生成すること、大量のアーカイブを文字起こしすること、何年分もの写真や動画からセマンティックインデックスを作成することは、同じではありません。

本当のボトルネック:CPU、RAM、モデルサイズ、NASのバックグラウンドタスク

CPU推論

CPU推論は、専用GPUのないNASで最も基本的な方法です。動作はしますが、通常はクラウドAIやデスクトップGPUより遅く感じられます。NASがファイル共有、Dockerアプリ、メディアのスキャン、システムサービスも管理している間に、CPUがトークン生成を処理しなければならないためです。

命令セットのサポートが充実した最新のCPUなら、小型モデルをより快適に使えますが、基本的なトレードオフは変わりません。同時に使用するユーザー、コンテナ、ファイル操作、AIリクエストが増えるほど、NASがボトルネックになりやすくなります。

システムメモリ

VRAMがない場合、ローカルAIはシステムRAMに大きく依存します。モデル、ランタイム、Web UI、埋め込み、ファイルサービス、Dockerコンテナ、オペレーティングシステムが、すべて同じメモリを取り合います。モデルによってシステムのスワップが頻発すると、使用感はすぐに悪化しかねません。

そのため、書類上の搭載メモリの合計よりも、空きメモリが重要です。RAMが16 GBのNASでも、複数のDockerコンテナ、メディアツール、同期処理、ファイルサービスがすでに動いていれば、余裕がない場合があります。モデルを読み込む前に、再起動直後だけでなく、通常のNAS使用中にどれだけRAMが空いているか確認しましょう。

モデルサイズと量子化

モデルサイズが決め手になることはよくあります。小さなモデルは読み込みが速く、使用メモリも少ないため、CPUのみの実験により適しています。大きなモデルは起動できても、返信に時間がかかりすぎて使いづらくなることがあります。

ここで整数量子化が重要になります。llama.cppでは、メモリ使用量を減らし、推論速度を向上させられる量子化レベルが説明されており、多くのCPU向けローカルAI環境で量子化されたGGUFモデルが使われる理由にもなっています。実用上の教訓は「読み込める限り最大のモデルを使う」ことではなく、「タスクに十分な、最小のモデルを使う」ことです。

GPU非搭載のNASに最適なAIワークロード

軽量チャットと小型モデル

小型チャットモデルは、NASがローカルAIを処理できるかどうかを試す最も簡単な方法です。短いプロンプト、簡単な文章作成、コマンドの説明、基本的なコーディング支援、ローカルでの実験などに役立ちます。目標は高性能なクラウドモデルに匹敵することではなく、許容できる応答速度をNASが実現できるかどうかを確かめることです。

サイズを大きくする前に、小さめのモデルから始めましょう。最初のテストですでにNASの動作が遅くなるなら、より大きなモデルにしても問題は解決しません。小さなモデルで問題なさそうなら、CPU負荷、メモリの逼迫状況、応答時間を確認しながら、少し大きなモデルや量子化の精度が高いモデルを試せます。

埋め込み、インデックス作成、プライベートRAG

埋め込みとプライベートRAGは、ワークロードをバックグラウンドで実行しやすいことが多いため、NASに適している場合があります。NASにはすでにドキュメント、メモ、写真、メディア、アーカイブが保存されているため、プライバシーとファイルのローカル性が重要なら、ローカルでのインデックス作成が理にかなっています。処理にはリソースが必要ですが、チャットのような速度でリアルタイムにトークンを生成する必要は必ずしもありません。

主なリスクはスケジュールです。バックアップ、メディアのスキャン、ファイル転送が実行中にインデックス作成を始めると、AIの処理自体は正常に動いていても、NASの動作が遅く感じられることがあります。この種のワークロードでは、静かな時間帯にインデックスを作成し、通常のファイルアクセスへの影響を確認するのがよいでしょう。

ローカルのファイルやメディアをAI検索する

AI検索は、ローカルストレージとローカルな理解を結び付けるため、NASの用途として特に自然なものの1つです。NASを汎用AIワークステーションとして扱うのではなく、AIレイヤーを使って、すでにデバイス上に保存されているファイルを分類、検索、取得します。

ここでも、期待値を明確にする必要があります。AI検索では、モデルのダウンロード、特徴の抽出、バックグラウンド処理、定期的なリソース使用量の急増が発生する場合があります。これは通常、大規模モデルからチャットボットに即座に回答させるのとは別のものです。

CPUのみのNASハードウェアで避けるべきこと

CPUのみのNASは、負荷の高い画像生成、大規模モデルによるリアルタイムチャット、長いコンテキストを使った推論、複数ユーザーによる同時利用には、通常あまり向いていません。こうしたワークロードは、メモリを大量に消費し、CPUスレッドを使い切り、NASの基本的な役割を妨げるおそれがあります。

重要なストレージ処理中に、実験的なAIジョブを実行するのも避けましょう。NASがストレージを再構築している、クラウドバックアップを同期している、メディアをインデックス化している、動画をストリーミングしている、または重要なファイル転送を処理しているときに、重い推論処理を加えると、トラブルシューティングが難しくなります。安全なローカルAI環境は、必要に応じて利用でき、いつでも停止できるものであるべきです。ストレージの基本的な処理に支障をきたしてはいけません。

最初のテストでは、次のようなパターンを避けましょう:

  • 人気があるというだけで、大規模モデルから始める
  • 安定した実行方法を1つ試す前に、複数のAIコンテナを動かす
  • 認証とアクセス範囲を確認せずに、Web UIをネットワークに公開する
  • バックアップやメディアのスキャンと同時に、AIのインデックス作成を実行する
  • インストールが成功すれば、日常業務でも使えると考える

インストールを始める前に確認したい実用的な判断表

ローカルAIスタックをインストールする前に、NASに何をさせたいのかを決めましょう。ワークロードの選択を誤ると優れたNASでも力不足に感じられますが、適切なワークロードを選べば、控えめなデバイスでもプライベートなAIの実験に役立ちます。

セットアップまたはワークロード 適している場合 避けるべき場合 通常起こること
NASのCPUで動かす小型ローカルチャットモデル 短いプロンプトで実験したり、個人利用で軽く使ったりしたい クラウド並みの速度や大規模モデルの品質を期待している 動作するが、応答速度はCPUとモデルのサイズに大きく左右される
埋め込みまたはプライベートRAGのインデックス作成 ファイルがすでにNASに保存されており、バックグラウンド処理でも問題ない 利用が集中する時間帯に、大規模なライブラリ全体をすぐにインデックス化したい 検索には便利だが、スケジュールを設定して監視する必要がある
NASでOpen WebUIを、別の場所でモデルを実行 NASでインターフェースを動かし、より高性能なマシンで推論を実行したい すべてを1台の省電力ボックスに収めたい 計算処理とストレージの役割を分離できるため、使い勝手が向上することが多い
iGPUまたは外部GPUによるアクセラレーション お使いのNASプラットフォームが、ハードウェアの接続経路とドライバーに対応している ドライバー、パススルー、互換性の問題に取り組みたくない 応答性は向上する可能性があるものの、セットアップが複雑になる
CPUでの画像生成や大規模モデルによるリアルタイムチャット 概念実証だけが目的で、待ち時間を許容できる 頻繁で高速、または安定した日常利用が必要 CPUのみのNASハードウェアでは、たいていストレスを感じる

この表は、確約ではなく目安として使ってください。左側の列に該当するワークロードでもNASの動作が重くなる場合は、モデルを小さくするか、計算処理を別の場所に移してください。避けるべき列に該当するワークロードは、NASのせいだと判断する前に、デスクトップ、ミニPC、eGPU、またはリモートGPUで試すのがおすすめです。

よりうまくいくことが多いセットアップパターン

すべてをNAS上で実行する

モデルのランタイムとWebインターフェースをNAS上で動かすのが、最もシンプルな構成です。スタックを自己完結させられ、軽いテストにも適しています。モデルが小さく、ユーザー数が少なく、NASのメモリーに十分な余裕がある場合に妥当な方法です。

欠点は、リソースの競合です。AIランタイム、UI、ファイルサービス、バックアップ、メディアツールをすべて1台で共有すると、NASには計算処理用の余裕がありません。パフォーマンスが低いと感じる場合、まず試すべき対策は、より複雑なUIではなく、モデルの小型化、同時処理数の削減、または別の計算経路への変更です。

NASでWeb UIをホストし、モデルは別のマシンで実行する

2台構成の方が実用的な場合がよくあります。NASがWeb UIをホストしてデータを保存し、デスクトップ、ミニPC、またはGPU搭載マシンがモデルのランタイムを実行します。Open WebUIは別のサーバー上のOllamaに接続する構成に対応しており、この使い方によく合います。

これにより、推論処理をすべてNASのCPUに任せることなく、よりシンプルなローカルAIのワークフローを実現できます。NASは常時稼働するインターフェースおよびストレージ層として役立ち続け、負荷の高いモデル生成は、より適したハードウェアで実行できます。

利用可能な場合はiGPUまたは外部GPUアクセラレーションを使う

iGPUを搭載したNASプラットフォームや、外部アクセラレーションに対応したNASプラットフォームもあります。これによりローカルAIが使いやすくなる可能性はありますが、自動的に機能するとは限りません。ドライバーのサポート、コンテナからのアクセス、バックエンドとの互換性、メモリーの共有、モデルの要件がすべて関係します。

iGPUアクセラレーションが利用できる場合は、専用GPUと同じように動作すると決めつけず、別の計算経路としてテストしてください。同じ指標、つまり応答速度、CPU負荷、メモリーへの負荷、モデルの読み込み時間、通常のNAS処理が安定しているかを確認します。

NASを妨げずにパフォーマンスをテストする方法

良いテストでは、「コンテナが起動した」以上のことを確認できます。モデルを読み込んで応答している間も、NASを使い続けられるかを確かめる必要があります。ツールを追加する前に、小型モデル1つ、UIの操作経路1つ、繰り返し使えるプロンプト1つで試してください。

次の順序でテストを開始します。

  1. AIを起動する前に、通常のNASの動作を確認します。ファイルの閲覧、Dockerダッシュボード、メディアライブラリ、バックアップの状態をチェックしてください。
  2. AIランタイムを起動し、小型モデルまたは量子化モデルを1つ読み込みます。
  3. 同じ短いプロンプトを3回入力し、返答が実用的な速度かどうかを記録します。
  4. CPU負荷、RAM使用量、スワップの状態、コンテナログを確認します。
  5. モデルの生成中に、ファイルを開いたり共有フォルダーを閲覧したりします。
  6. AIコンテナを停止し、NASの動作がすぐに通常どおりに戻ることを確認します。
  7. 最初のテストに合格した場合に限り、少し大きなモデルでもう一度試します。

より正式なテストを行う場合、llama.cppにはllama-benchを使って1秒あたりのトークン数を測定するベンチマーク機能があります。自宅のNASでのテストをすべて実験レポートにする必要はありませんが、推測に頼らずに済むだけの測定は行いましょう。システムの動作が遅いと感じたら、モデルサイズ、CPUスレッド、メモリ不足、ストレージ負荷、または同時に実行されている別のNASタスクのどれがボトルネックなのかを確認します。

最後に、次の5つの質問を確認します。

  • そのタスクに対して、応答速度は許容範囲ですか?
  • 過剰なスワップが発生せず、RAMの状態は安定していますか?
  • ファイル、バックアップ、メディアサービスは通常どおり稼働できますか?
  • AIの処理を停止したり、実行スケジュールを設定したりできますか?
  • Web UIを信頼できるユーザーとネットワークだけに制限していますか?

どれか1つでも「いいえ」なら、構成を小さくするか、分離するか、処理を別の環境に任せる必要があります。

ローカルAIの使い心地を不必要に悪くする間違い

間違い1:大きすぎるモデルから始める

間違い:より高性能に聞こえるという理由で、人気の7B、13B、またはそれ以上のモデルから始めます。

原因:モデルの推奨情報は、ゲーミングPC、GPUワークステーション、クラウドサーバー向けに書かれていることが多く、低消費電力のNAS用CPU向けとは限りません。ベンチマークでは妥当に見えるモデルでも、ファイル共有も担うマシンでは動作の印象が大きく異なることがあります。

リスクがある理由:NASが読み込み、スワップ、または低速な生成に時間をかけすぎることがあります。そのため、ソフトウェアが正しくインストールされていても、初めてのローカルAI体験がうまくいかないように感じられることがあります。

より安全な方法:小さめの量子化モデルから始め、サイズを上げる前に実際の応答速度をテストします。

確認:小型モデルがスムーズに応答し、NASの動作にも問題がなければ、次のサイズを試します。NASがすぐに遅くなるなら、そのモデルはすでにその環境には大きすぎます。

間違い2:RAM要件を任意のものとして扱う

間違い:CPUのモデルは確認しても、通常のNAS利用時にどれだけの空きメモリが残るかを確認しません。

原因:多くのAIセットアップガイドではモデルサイズに触れていても、Dockerアプリ、ファイルサービス、メディアツール、オペレーティングシステムが同じRAMを共有することを考慮していません。

リスクがある理由:メモリ不足は、動作の低速化、モデルの読み込み失敗、コンテナの不安定化、過剰なスワップを引き起こすことがあります。ストレージサーバーでは、AIアプリ以外にも影響が及ぶ可能性があります。

より安全な方法:推論の前と実行中に利用可能なRAMを確認し、通常のNASサービス用に余裕を残します。

検証:ファイルを閲覧しながらモデルを実行し、メモリ使用量を確認します。システムが頻繁にスワップしたり、ほかのサービスが遅くなったりする場合は、モデルのサイズを小さくするか、計算処理を別の場所に移します。

間違い 3:バックアップやメディア処理中に負荷の高いAIジョブを実行する

間違い:AIのインデックス作成、チャット推論、メディアのスキャン、バックアップジョブをすべて同時に実行する。

原因:NASのバックグラウンドタスクは、性能が低下するまで意識されないことがよくあります。AIワークロードはCPU、RAM、ディスク、ネットワークの使用量を急増させるため、この前提は崩れやすくなります。

リスクの理由:NASは、本来安定して処理すべきタスクの最中に動作が遅くなる可能性があります。バックアップ中にトラブルシューティングを始めると、AIモデル、コンテナ、ストレージプール、バックアップジョブのどれが問題を引き起こしたのか、特定が難しくなります。

より安全な方法:負荷の高いAIタスクは利用の少ない時間帯に設定し、ストレージに重要な作業中の実験は避けます。

検証:負荷の低い時間帯と、通常のサービスが稼働している時間帯の両方で、同じAIタスクを実行します。2回目の実行でバックアップ、メディア、ファイルアクセスに支障が出る場合は、ワークロードに上限を設けるか、実行時間を調整する必要があります。

間違い 4:「動作する」と「使える」を混同する

間違い:コンテナの起動やモデルの最初の応答に成功しただけで、NASが日常的なローカルAIの利用に対応できると判断する。

原因:インストールガイドは、最初の応答が成功した時点で説明を終えることがよくあります。しかし、実際の使用ではプロンプトが長くなり、ファイルのインデックスが作成され、複数のユーザーが接続し、バックグラウンドジョブも重なります。

リスクの理由:短時間のテストでは問題なく動作する構成でも、実際のドキュメント検索、家族写真のインデックス作成、長時間のチャットセッションでは失敗する可能性があります。

より安全な方法:ワークロードを有効にしたままにする前に、実際の利用を想定したセッションでテストします。

検証:普段実行しているNASのタスクをそのまま使い、AIの応答速度、ファイルの閲覧、システム負荷、停止手順をテストします。NASが安定して動作するなら、そのワークロードはより適しています。

実際のNASでのAI検索ワークフローにどう当てはまるか

NAS上のローカルAIは、保存済みのファイルを活用できる場合に特に役立ちます。AI検索は、メディアやドキュメントを検索可能なライブラリに変えられるため、よい例です。一方で、ローカルAIにはリソース計画が必要なことも示しています。特徴抽出、モデルのダウンロード、メディアのスキャン、検索インデックスの作成は、単なるチャット画面ではなく、バックグラウンドで実行される処理です。

ZimaOS環境でも同じことが当てはまります。ZimaOS AI検索モジュールは、ローカルAIを使って画像、音声、動画から特徴を抽出し、検索をサポートするように設計されています。また、ドキュメントにはハードウェア構成、メモリ要件、モデルの保存先、ダウンロードの依存関係、リソース使用量、トラブルシューティングの注意事項も記載されています。これは、この記事の主なポイントを示す実例として役立ちます。ローカルAI検索はNAS上で実行できますが、適切なハードウェア構成とリソース配分が必要です。

ZimaCube 2 AI NASのようなストレージ重視の家庭用NASでは、クラウドベースのインデックス作成ではなく、ローカルファイルを対象にプライベート検索を行いたい場合に、この種のワークフローが適しています。データをローカルに保存できますが、モデルサイズ、メモリの余力、計算処理の方法、インデックス作成のスケジュール、通常のNASサービスが優先されるときにAI処理を一時停止または制限できるか、といった点は引き続き確認が必要です。

よくある質問

家庭用NASで専用GPUなしのローカルAIを実行できますか?

はい、家庭用NASでも、専用GPUなしで一部のローカルAIワークロードを実行できます。一般的に適しているのは、小型または量子化モデル、埋め込み、プライベートRAG、ローカル検索、軽い実験などです。高速な大規模モデルのチャット、画像生成、複数ユーザーの同時利用を求める場合は、実用性が下がります。

NASでローカルAIを使うには、どのくらいのRAMが必要ですか?

モデル、ランタイム、オペレーティングシステム、その他のNASサービスによって異なります。より安全に判断するには、通常のNAS利用時に空きメモリを確認してから、小型モデルを1つ試し、メモリが安定しているかを監視してください。スワップが頻繁に発生したり、ファイルサービスが遅くなったりする場合は、利用可能な余力に対してワークロードが大きすぎます。

CPUのみのAIでチャットするには十分ですか?

CPUのみのAIでも、短いプロンプトや小型モデルなら十分使えますが、日常的な対話では遅く感じることがあります。応答に時間がかかりすぎる場合は、より小さなモデルや強めの量子化を使う、対応していればiGPUを利用する、または別のマシンでモデルを実行する2台構成にする方法があります。

OllamaはNAS上で直接実行すべきですか、それとも別のマシンで実行すべきですか?

シンプルで完結したテストをしたい場合は、モデルが小さければOllamaをNAS上で直接実行します。速度を優先しつつ、NASをWeb UI、ストレージ、またはプライベートデータのレイヤーとして使いたい場合は、別のローカルマシンでモデルを実行します。NASをファイルやバックアップ用として安定稼働させる必要がある場合は、後者が適していることがよくあります。

NASで最初に試すローカルAIのワークロードとして、何が最適ですか?

小型モデルか軽量な検索ワークフローから始めましょう。画像生成、大規模な対話モデル、ライブラリ全体のインデックス作成を、利用が集中する時間帯に始めるのは避けてください。最初のテストでは、ファイルアクセス、バックアップ、メディアサービス、その他のコンテナに影響を与えずに、NASでワークロードを実行できることを確認します。

GPUを搭載していないNASも、ローカルAIを始めるのに役立ちます。ただし、できるかできないかの二択ではなく、ワークロードがハードウェアに適しているかという観点で考えましょう。実際のNAS環境で応答速度を試し、AIの実験よりもストレージの信頼性を優先してください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.