ホームNVRでカメラ間の物体追跡を可能にする機能とは？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

What Features Enable Cross-Camera Object Tracking in a Home NVR? - Zima Store Online

カメラ間追跡は、ホームカメラ間の既知の経路によって制約された外観情報と時空間情報を用いて、安定したローカルトラックを関連付けることで機能します。

人物が driveway の映像から離れ、数秒後に玄関先へ現れる場合でも、各カメラは最初、それぞれ新しいローカルIDを作成します。ホームNVRがこれらの断片をつなぐには、物体検出だけでは不十分です。各映像内で信頼できるトラックを構築し、外観を慎重に比較し、タイムスタンプを同期し、妥当な移動経路をモデル化するとともに、遮蔽やよく似た服装によって安全な引き継ぎができない場合は不確実性を保持する必要があります。

安定したローカルトラックが関連付けの単位を作る

検出は各フレームで独立してボックスを生成しますが、追跡はそれらを時間の経過に沿って関連付け、ローカル軌跡を形成します。動きの予測、検出信頼度、遮蔽への対処によって、人物がカメラの視野を離れるまで同じIDを維持できるかどうかが決まります。

外観情報を利用した追跡は、動きと深層外観情報を組み合わせ、遮蔽中のIDスイッチを減らします。その構造から、カメラ間ロジックは孤立した検出結果を比較するのではなく、トラックレットを利用すべき理由が分かります。この違いは、後の家庭環境でのテストでも確認できます。

ローカル追跡が弱いと、候補が断片化し、カメラ間の曖昧さが増大します。監査用に元のカメラローカルIDを保持しながら、各トラックレットについて、入場時刻と退出時刻、ゾーン、代表クロップ、クラス、方向、品質スコアを保存してください。

外観埋め込みには時空間的な制約が必要

再識別エンコーダーはクロップ画像を外観空間にマッピングし、似た物体が近くに配置されるようにします。服の色、体形、車両の細部、視点は役立ちますが、照明、雨、圧縮、同じような服を着た家族などによって、違いが判別しにくくなることがあります。

競技で高い成果を上げた時空間的一貫性システムは、外観クラスタリングを時空間的一貫性およびID再割り当てと組み合わせます。この優れた結果は、ジオメトリと時間によって可能なマッチングを制限すると、視覚的な類似性の信頼性が高まることを示しています。自動化を進める前に、中間結果を検証可能な状態に保つ必要があります。

ホームのトポロジーには、driveway から玄関先までの移動には通常3～30秒かかる一方、地下室から driveway へ瞬時に移動することはできない、といった情報を組み込めます。重なり合う視野ではジオメトリを使用し、重ならない視野では入場ゾーン、退出ゾーン、移動時間の分布、方向を使用します。この境界は、現実的な運用条件下で個別に測定する必要があります。

引き継ぎを左右するのは時計、キャリブレーション、信頼度

カメラの時計は安定した時刻基準を共有する必要があります。数秒のずれでも、正しい遷移が不可能に見えることがあるためです。ゾーンポリゴンとレンズキャリブレーションにより、ボックスの生の位置を、意味のある入口、経路、出口へ変換できます。

低スコア検出の関連付けは、低スコアの検出結果をすぐに破棄せず、関連付けの際に保持することで、部分的な遮蔽中の連続性を向上させます。出入口や植物によって検出信頼度が一時的に低下することがある家庭環境では、この原則が重要です。複数の情報源が限られたコンテキストを奪い合うときに、その実際の効果が現れます。

失敗の境界は、グローバルIDを無理に確定することです。2つの候補の外観が似ており、移動時間の範囲も重なる場合、NVRは別々の仮説を保持するか、新しいIDを開始すべきです。確信を持って誤った統合を行うと、目に見える途切れよりも、イベント数、アラート、後の要約に大きな悪影響を与えます。

-15% OFF

ZimaBoard 2 - あなたの大きなアイデアのためのミニホームサーバー

Single board computer zimaboard2

既知の経路マトリックスで引き継ぎをテストする

接続されたすべてのカメラペア間で、既知の経路を歩いたり車で移動したりし、速度、時刻、服装、照明条件を変えてテストしてください。似た人物が2人いる状況、同時遷移、逆方向の移動、長い空白、意図的に不可能なカメラ間ジャンプも含めます。この依存関係は、最終インターフェースでも明示したままにする必要があります。

永続追跡IDにおける永続IDの区別を利用して、ローカルでの断片化、カメラ間引き継ぎの適合率と再現率、IDスイッチ、誤統合、未知の引き継ぎ、時計のずれを記録します。統合されたすべてのグローバルトラックについて、その元となった映像クリップを確認してください。

自動リンクは、適合率のしきい値を満たしたカメラペアと時間範囲に対してのみ導入してください。曖昧な遷移はリンクせず、または確認可能な状態にします。異なる物体を密かにつなげてしまう場合、途切れを隠すためにマッチング範囲を広げても改善にはなりません。