ホームサーバーのファンカーブでローカルAIのレイテンシーが変動するのはなぜですか？

ローカルAIのレイテンシは、遅れて作動する冷却によってプロセッサのクロックが熱または電力のしきい値を上下に繰り返し超えると、ファンカーブに伴って振動することがあります。

推論では、筐体やヒートシンクが放熱できるよりも速く、電力が熱へ変換されます。ファンコントローラーは遅れて取得された温度値に反応し、多くの場合、段階制御とヒステリシスを使用します。一方、CPUやGPUのファームウェアは電圧と周波数を独立して調整します。ワークロード、熱慣性、制御遅延が一致すると、リクエストはブースト、スロットリング、冷却、再びブーストという状態を交互に繰り返します。

推論は冷却の応答より速くデバイスを加熱する

バースト処理は、シリコンが冷えている間に高いクロックで始まり、その後、パッケージとヒートシンクを通じて接合部温度が上昇します。センサー、平滑化ウィンドウ、コントローラーのポーリング、ファンの回転開始遅延によって気流の開始が遅れるため、冷却の応答は、それを引き起こしたワークロードに後れを取ります。

エッジ推論における熱による推論性能の低下を扱った研究では、加熱が継続する間の性能低下を測定しています。その結果、モデルと入力が変わらなくても、熱状態とレイテンシが結び付くことが示されています。この違いは、後の家庭環境でのテストでも確認できます。

短いリクエストはスロットリングが始まる前に完了することがありますが、後続のリクエストは蓄積した熱の影響を受けます。アイドル時間によってサイクルが部分的にリセットされるため、周期的なトラフィックは、1回の連続ベンチマークよりも変動して見えることがあります。自動化に進む前に、中間結果を検証可能な状態に保つ必要があります。

ファンの段階制御とDVFSのしきい値が連成した制御ループを形成する

ファンカーブは測定温度を速度に対応付け、ファームウェアは温度、電流、電力を周波数に対応付けます。各ループにはしきい値とヒステリシスがあり、それらを超えると冷却または演算速度が段階的に変化します。この境界は、現実的な運用条件で個別に測定する必要があります。

ファン制御の安定性に関する研究では、遅延や不完全な温度測定が、安定したファン制御を難しくすることが示されています。遅れてから強く反応するコントローラーは、オーバーシュートして下側のしきい値を下回るまで冷却し、ファンを減速させ、同じ動作を繰り返すことがあります。

レイテンシはファンのRPMに直接ではなく、有効クロックとメモリ周波数に従います。ファンの変化は電力制限の判断と同時に起こることもあるため、相関だけでは、クロック変化の原因が気流だったのか、共有ファームウェアポリシーだったのかを立証できません。

キューイングによって小さなクロック振動が増幅されることがある

スロットリング中に処理速度が低下すると、リクエストが蓄積します。キューによる待ち時間が、すでに遅くなった推論時間に加わります。冷却によってクロックが回復すると、サーバーはバックログを処理し、一転して高速になったように見えます。複数の送信元が限られたコンテキストを取り合う場合に、この実際的な影響が現れます。

熱を考慮した推論管理システムは、熱挙動と推論スケジューリングを統合的に管理し、冷却を施設側の無関係な問題として扱うのではなく、温度を考慮した判断によってレイテンシを保護できることを示しています。この依存関係は、最終的なインターフェースでも明示したままにする必要があります。

失敗につながるのは、周期的なレイテンシの原因を何でもファンカーブのせいにすることです。バックグラウンドジョブ、バッチ形成、ストレージのスクラブ、ネットワークポーリング、ガベージコレクション、電力価格のスケジュールなどが同じ周期で重なることがあります。温度を応答時間に結び付けるには、周波数とキューのメトリクスが必要です。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

リクエストレイテンシに熱制御ループを重ねて表示する

一定間隔で同一のリクエストを再生し、到着時刻、キュー時間、推論時間、トークンレート、CPUとGPUのクロック、パッケージ電力、温度センサー、スロットリングフラグ、ファン指令値、実際のRPM、周囲温度を1本のタイムライン上で記録します。

より長いサーマルソークテストには、熱ソークのベースラインを使用します。ワークロード、電力制限、モデル状態、筐体を維持したまま、通常のカーブを安全な固定ファン速度およびより緩やかなカーブと比較します。したがって、その結果は元の証拠と照合する必要があります。

レイテンシが、温度とファンの応答に続くクロック変化に追従し、安定した冷却ポリシーの下で振動が弱まる場合、その制御ループが因果関係を持つと判断します。熱保護を無効にせず、ヒステリシスまたは気流を調整してください。スロットリングが続く場合は、冷却能力が不十分である可能性があります。