オブジェクト追跡は家庭用NVRで推論の繰り返しをどのように削減するのか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

How Does Object Tracking Reduce Repeated Inference in a Home NVR? - Zima Store Online

物体追跡は、フレーム間で対象の同一性を保持することで、NVRによる推論の繰り返しを減らします。後続の観測では、同じ対象を新規のものとして扱うのではなく、既存の状態を再利用できます。

家庭用NVRでは、人、車両、動物を発見するために物体検出が必要ですが、後続のすべての判定を動画の各フレームでゼロからやり直す必要はありません。トラッカーが検出結果を永続的な対象に関連付けると、パイプラインは位置、同一性、経過時間、キャッシュ済み属性を引き継ぎ、高コストな検出器の実行間隔を空けたり、対象に意味のある変化があったときだけ二次モデルを再実行したりできます。つまり、削減効果は追跡が視覚推論を魔法のように置き換えることではなく、状態を再利用することで生まれます。

永続的なトラックを持つと、検出結果を再利用するコストが下がる

物体検出は、解析した1フレームについてボックスとクラスを生成します。一方、追跡は、新しい観測がすでに認識されている対象に属するかどうかを判断することで、継続性を加えます。この関連付けにより、見た目が似たボックスの連続が、各フレームで個別に作り直されるのではなく、位置と同一性を時間とともに更新できる状態を持つオブジェクトへ変わります。

マルチオブジェクトトラッカーは、永続的なトラックIDを維持できるため、後続のパイプライン段階で同じ人物や車両を識別するための安定したキーとして利用できます。役立つ出力は単なる別の長方形ではなく、観測をまたいで維持され、履歴を保持できる対象レコードです。

これが最初の計算上の利点です。後続のルールは、すべてのボックスが完全に新しいオブジェクトかどうかを毎回確認する必要がなくなります。ゾーン滞在時間、進行方向、イベントの重複排除、後続の属性モデルは、対象が退出する、見失われる、または再割り当てされるまで、1つのトラックレコードを参照できます。

安定したトラックIDにより、二次モデルは以前の分類結果を再利用できる

繰り返し発生するコストの大部分は、トラッカー自体ではなく、すでに検出された同じオブジェクトを各フレームで分類してしまう二次モデルにあることが少なくありません。トラックIDが安定していれば、パイプラインは以前の属性結果を対象に関連付け、対象の外観やサイズが再推論に値するほど変化した場合にだけ更新できます。

DeepStreamは、二次分類をオブジェクトID単位でキャッシュし、オブジェクトが初めて現れたとき、またはバウンディングボックスの面積が大幅に拡大したときに再推論する仕組みを実装しています。家庭用NVRでも、車両タイプ、服装カテゴリ、荷物の有無、その他の高コストなオブジェクト単位の分類器に同じ構成を適用できます。

キャッシュが有効なのは、対象の同一性が信頼でき、再利用する属性が変化しにくいと見込める間だけです。色分類は多くのフレームで再利用できる一方、姿勢、顔の向き、手に持っている物体の状態などは変化が速いため、定期的またはイベント駆動の更新が必要になる場合があります。

属性の再利用は、キャッシュされた特性が対象の位置よりもゆっくり変化するときに最も効果を発揮します。そのため、追跡パイプラインでは、ボックスを毎フレーム更新しながら車両タイプのラベルを多数のフレームで再利用できます。高速に変化する幾何学的状態と、低速に変化する意味的状態を分離し、すべての出力を同じ頻度で更新する必要をなくせます。

追跡により、主要な検出器をスキップしたフレーム間を補完できる

対象がいったん確立されると、一部のトラッカーは主要な検出器が実行されないフレームでも位置を推定し、次に検出が行われたときに予測状態と照合できます。これにより、すでに追跡中のオブジェクトについて、スキップした各フレームが完全な見逃しになることを防ぎながら、NVRの検出頻度を下げられます。

DeepStreamは、検出の間にオブジェクトを追跡しながら検出フレームをスキップする機能を明示的にサポートしています。現在のトラッカーガイダンスでも、より強力な追跡によって検出間隔を広げ、精度低下を抑えられると説明されています。主要な検出器がトラッカーよりはるかに高コストである場合、この効果はさらに大きくなります。

ただし、検出器には追跡だけでは引き継げない役割があります。新しいオブジェクトの発見、ドリフトの補正、オクルージョン後の復帰、曖昧なトラックの終了や再初期化です。検出結果の関連付けによる追跡などの関連付け手法は、証拠として検出結果に依存します。そのため、間隔を広げすぎると、最終的には計算量の削減と引き換えに、侵入の見逃しや補正精度の低下が生じます。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

実際の削減効果は、検出器のコスト、シーンの動き、トラックの安定性で決まる

追跡にも状態更新、動きの推定、特徴比較、関連付けの処理が必要です。そのため重要なのは、追加されたコストが、パイプラインで回避できる推論コストを下回るかどうかです。高負荷な検出器や二次分類器のほうが、負荷の低いアクセラレーター上で動く小型の検出器よりも削減の余地が大きくなります。

また、多数のオブジェクトが出入りしたり、重なったり、外観を急速に変化させたりする混雑したシーンでは、対象の生成と再識別が頻繁に発生するため、追跡による削減効果は小さくなります。実際のNVRチューニングでは、カメラの検出レートと検出器の推論速度を別々の指標として維持し、同じ録画クリップ上で、トラッカーのレイテンシ、推論間隔、アクティブなトラック数、分類器の更新回数、イベント再現率を比較します。1つの間隔がどの環境でも効率的だと決めつけてはいけません。

関連する失敗パターンについては、ZimaSpaceの解説で、短時間のイベントが有効なトラックの形成前に消えてしまう可能性が説明されています。追跡が繰り返し処理を削減できるのは、有用な状態が存在してからです。そのため、計算効率と短時間イベントの再現率は一緒に測定する必要があります。

実用上の分岐点は、トラッカーのFPSだけでなく、追跡対象1つあたりに節約できたアクセラレーター時間として測定できます。トラッカーがスキップした検出処理とほぼ同じデバイス時間を消費する場合や、頻繁な再識別によって分類器が再実行される場合、推論回数が見かけ上減っても、追加カメラ用の有効な余力にはつながらない可能性があります。