広角カメラでは、なぜ物体追跡が不安定に感じられるのですか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

Why Does Object Tracking Feel Less Stable on Wide-Angle Cameras? - Zima Store Online

広角トラッキングが不安定に感じられることが多いのは、歪んだエッジの形状と小さな被写体によって、フレーム間の位置や外観の一貫性が低下するためです。

広い車道を横切る人物は現実の世界では滑らかに移動していても、画像の端を通過すると加速したように見え、中央に近づくにつれて伸びたり縮んだりします。家庭用NVRのトラッカーは、物理空間ではなくピクセル座標で検出結果を関連付けます。形状と物体の細部が同時に変化すると、関連付けの処理で利用できる安定した根拠が少なくなります。

広角レンズは一定の動きを非線形な画像上の動きに変える

広い視野角では、同じセンサー幅により多くのシーンの角度が収められます。端に近づくと、放射状歪みによって線が曲がり、物体の見かけの形状が変化します。また、遠近法によって近くの被写体は急速に大きくなります。フレーム間で変位と外観が似ていると仮定するトラッカーは、こうした変化を過小評価することがあります。

広角歪みに関する技術的な解説では、直線の形状を利用して広角歪みを推定・補正する方法が示されています。この補正が必要であることは、歪みのない単純なピンホール画像のようには、補正前の端部座標が機能しない理由を示しています。

トラックが近くの別の検出対象へ飛んだり、被写体に遅れて追従したり、端で新しいIDが割り当てられたりすることがあります。検出器の感度を上げても、関連付けの幾何学的な問題が必ずしも解決するとは限りません。検出数が増えることで、トラッカーが混同する候補が増える場合さえあります。

画面端の被写体は有用なピクセルが少ない

広い範囲をカバーすると、遠くの人物や車両は少ないピクセル数しか占有しません。端部では、レンズ補正後のぼけ、陰影、再サンプリングによって、特徴的なテクスチャがさらに失われることがあります。検出器は依然としてボックスを検出できても、トラッカーにはそのボックスを前のフレームと結び付けるために必要な、安定した外観特徴が不足します。

TartanCalibプロジェクトは、正確な広角キャリブレーションによって特徴検出と下流の幾何学的タスクが改善すると報告しています。その結果は、キャリブレーションの品質によって、画像の極端な領域付近で利用できる特徴が変わることを示しています。

この問題では、中心付近ではIDが安定し、外側の4分の1付近でジッターや断片化が増え、被写体が内側に戻ると回復するという特徴的なパターンが現れます。フレーム全体で不安定さが一様なら、レンズ形状だけでなく、解像度、シャッタースピード、またはトラッカー設定が原因である可能性が高くなります。

広角が根本原因ではない場合

モデルが魚眼映像用に学習され、画像が正しく歪み補正され、被写体が十分な大きさを保っていれば、広角レンズでも適切に追跡できます。逆に、通常のレンズでも、モーションブラー、遮蔽、低フレームレート、混雑したシーンでは追跡に失敗することがあります。視野角はリスク要因であって、決定的な判断材料ではありません。

光学に関する解説では、広角レンズの歪みが直線や端部の形状をどのように変えるかが説明されています。また、光学的な歪みと遠近法を区別しています。遠近法は、たる型歪みのプロファイルを適用するだけでは除去できません。

トラックの途切れが画面端の位置ではなく、遮蔽やフレーム落ちと一致する場合、この仕組みは当てはまりません。また、NVRがすでに補正済みのストリームから検出し、未補正のストリームにボックスを重ねている場合も同様です。このとき見かけ上のジャンプは、実際の追跡失敗ではなく、座標変換の不一致によって生じている可能性があります。

-15% OFF

ZimaBoard 2 - あなたの大きなアイデアのためのミニホームサーバー

Single board computer zimaboard2

カメラ画面全体でトラックの安定性を確認する

同じ歩行経路を左端、中央、右端に通し、トラック中心の座標をプロットします。フレームレート、シャッタースピード、モデル、被写体との距離は、可能な限り一定に保ちます。未補正の推論と、正しく歪み補正した推論を比較しながら、ボックスサイズ、信頼度、IDの変更、フレーム落ちを記録します。

専用のローカルAIミニPCを使用し、両方の試験で同じ計算負荷と映像ソースを供給します。これにより、同時に実行しているメディア処理による推論フレームのスキップを、レンズの影響と誤認するのを防げます。

物体サイズとフレーム落ちを統制したうえで、端部において残留運動が大きくなったり、IDの途切れが増えたりするなら、広角の幾何学が原因です。補正によってオーバーレイは改善しても関連付けが改善しない場合、トラッカーには歪みを考慮した動きや外観の処理が必要です。障害が負荷の急増に伴って発生するなら、推論の実行間隔を調査してください。