ローリングシャッターとは何か、また家庭用カメラの検知を歪めるのはどんなときか?

ローリングシャッターはセンサーの各行を異なる瞬間に捉えるため、読み出し中の動きによって、1フレームが時間的にずれた幾何学的測定値になることがあります。

静かなポーチを横切る人物は正常に見えても、高速の自転車、振動するマウント、または急速なパン操作では、1フレーム内で像が傾いたり、伸びたり、せん断されたりすることがあります。検出器が捉えるのは、ある瞬間の物体ではなく、歪んだピクセルの幾何形状です。この影響は、行の読み出し時間、露光、動きの方向、レンズ、照明、モデルの学習分布によって異なります。

1フレームには複数の露光時刻が含まれる

多くのCMOSセンサーは、画像全体を同時に撮影するのではなく、各行を順番に露光または読み出します。そのため、表示フレームの上端と下端は異なる時刻を表し、全体の歪みは公称フレームレートだけでなく、センサーの読み出しによって決まります。

ローリングシャッターモデルに関する包括的なレビューでは、ローリングシャッターの動きのモデルと補正方法が検討されています。そこでは、行ごとの取得中にカメラまたはシーンが相対的に動くことによる幾何学的歪みについて説明されています。この違いは、その後の家庭内テストでも確認できます。

動きが遅く、読み出しが短ければ、その差は無視できる場合があります。横方向の高速移動、回転するファンの羽根、カメラの振動、または移動する車両は、露光時間が短くブレを抑えられる場合でも、明らかな歪みを生じさせることがあります。

歪みはボックス、特徴、見かけの軌跡を変える

物体検出器は、学習画像から学んだ形状やテクスチャに依存します。行ごとに異なるせん断によってアスペクト比が変化したり、移動するエッジが異なる位置に分かれて現れたりする一方、トラッカーは歪んだ重心を急激な速度変化として解釈することがあります。モーションブラーが同時に発生することもありますが、これは別の露光効果です。

リンショーピング大学のビジョン幾何学の解説では、ローリングシャッターが従来のカメラ幾何学をどのように変え、動きからの構造復元や手ブレ補正などのコンピュータービジョンタスクに影響するかが説明されています。家庭用カメラのトラッキングでも、規模は小さいものの同じ測定上の不一致が生じます。

レンズ補正を行っても、時間的な歪みが自動的に除去されるわけではありません。レンズ歪みは空間的でほぼ固定されている一方、ローリングシャッターの歪みは動きに応じて変化するためです。通常の幾何学的ワープを適用すると、すでに歪んだピクセルが新しい座標系へ移動するだけになることさえあります。

読み出し方向によって動きの向きが重要になる

行の読み出し方向と平行な動きでは、形状が圧縮または拡大されることがあります。一方、垂直方向の動きでは、傾きや横方向のずれが生じることがあります。グローバルシャッターセンサーならフレーム内の時間的なずれを避けられますが、コスト、感度、ノイズ、解像度などが異なる場合があるため、無条件に上位互換とはいえません。

CVPRの読み出し幾何学に関する研究では、ローリングシャッターカメラの形式的なモデルが構築され、読み出しの幾何学がシーン内の点の観測方法を制約することが示されています。この結果は、単一の歪み補正では、あらゆる動きとセンサー構成に対応できない理由を裏付けています。

検出を静的な昼間の映像だけで評価している場合、問題の境界を見誤る可能性があります。夜間の露光、高速で動く物体、柔軟なマウント、電子式手ブレ補正が組み合わさると、テストセットには存在しない形でブレと歪みが生じることがあります。その結果、特定の動きの方向でのみモデルの信頼性が低下しているように見えます。

-15% OFF

ZimaBoard 2 - あなたの大きなアイデアのためのミニホームサーバー

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

動きの方向を変えてカメラをテストする

既知の対象物を明るい環境と低照度環境で、複数の速度により水平方向、垂直方向、斜め方向へ動かして録画し、その後、カメラに制御された振動を加えて繰り返します。NVRのトランスコードだけで評価するのではなく、元のフレームを保存し、可能であれば読み出しメタデータを測定してください。

永続的なトラッキングのワークフローを使って、検出再現率、ボックスの形状、トラックの連続性、エッジの位置を比較します。動きとカメラ位置を一定に保ったまま照明またはシャッター時間を変え、ローリングシャッターの歪みとモーションブラーを切り分けます。

予測された動きと読み出し条件に応じて誤差が増加する場合にのみ、ローリングシャッターを実質的な要因として扱います。影響が確認されたら、同じシーンレベルの指標を使って、マウント、露光、センサーモード、モデルのデータ拡張、グローバルシャッターの代替案を比較してください。