雨やガラス、クモの巣越しでは、なぜ動画AIの精度が低下するのか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

Why Does Video AI Look Less Accurate Through Rain, Glass, or Insect Webs? - Zima Store Online

雨やガラス、クモの巣によって映像AIの信頼性が低下するのは、光学的な干渉によって実際の特徴が隠される一方、もっともらしい偽の特徴が生み出されるためです。

パティオのカメラは、乾燥した夕方には人を正確に検出できても、赤外線で濡れたクモの巣が光ると、動物や人を検出したというアラートを出すことがあります。モデルが見ているのは「天候」ではなくピクセルです。水滴、反射、レンズ近くの糸などがそのピクセルの大部分を占めたり、遠くの対象を認識するために必要な輪郭を消したりすることがあります。

干渉によって、シーンに存在しない特徴が加わる

雨の筋は短く明るい線を作り、水滴は局所的な領域を屈折させてぼかし、ガラスは反射を加え、クモの巣はレンズの近くに高コントラストの曲線を形成します。通常のシーンで学習した検出器は、こうしたパターンを物体の一部と解釈したり、その背後にある本来の輪郭を見失ったりすることがあります。

雨の除去モデルに関する単一画像研究では、雨をシーンの内容から分離できる視覚レイヤーとして扱います。専用の除去手法が必要であることは、雨が単に明るさを低下させるだけでなく、画像の構造を変化させることを示しています。

レンズ近くの干渉は、物理的には小さくても多くのピクセルを占めるため、実際以上に大きな影響を及ぼします。赤外線によって糸や水滴が照らされる一方、遠くの車道は暗いままになることがあります。その結果、偽の特徴のコントラストが、システムが検出すべき本物の人物よりも強くなる場合があります。

ガラスと水が競合する画像を作り出す

ガラス越しに設置されたカメラは、屋外のシーンと室内の反射を同時に捉えることがあります。どちらのレイヤーが優勢になるかは、ピント、露出、偏光によって決まります。水は水滴が流れるたびに変化する屈折の歪みを加えるため、屋外で意味のある物体が何も動いていなくても、静的な背景が時間的に不安定になります。

反射除去の研究では、反射の分離を、きれいな1つのシーンではなく、重なり合った2つの視覚コンポーネントとして扱います。このモデルにより、通常の物体検出が監視対象エリアではなく、反射した室内の細部に信頼度を付与してしまう理由を説明できます。

まず動体検知がトリガーとなり、その後、変化した領域を検出器が分類することがあります。その結果、処理パイプラインがすでに異常な切り出し領域を選択しているため、誤ったラベルが高い確信度で表示されることがあります。学習データに適合した信頼度指標は、光学的な汚染がある状況での正確性を保証しません。

天候が主な原因ではない場合

レンズやガラスをきれいにした後もエラーが続く場合や、エンコーダーのアーティファクトやフレーム落ちと検出が一致する場合は、干渉だけでは説明できません。モデルの更新、感度の変更、赤外線モードの切り替え、検出ゾーンの変更が雨と同時に起きると、誤った相関が生じることがあります。

クモの巣の検出に特化した研究では、クモの巣が監視において相当な誤警報の負担を引き起こす可能性が報告されています。ただし、クモの巣が原因だと言えるのは、その位置と照明がモデルに見られた誤検出領域と一致する場合に限られます。

サーバー側の検出結果と保存フレームが正しいままで、モバイルアプリだけに障害が限定される場合も、天候では説明できません。撮影時の遮蔽と、通信やインターフェースのレンダリングを切り分けてください。物体の輪郭が明瞭な濡れたシーンは正常に機能する一方、逆光の小さな水滴1つで、特定のカメラアングルが機能しなくなることもあります。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

検出を引き起こすピクセルと遮蔽物を照合する

同じカメラと推論モデルを使い、乾燥時と汚染時の対応するクリップを保存します。水滴、反射、クモの巣が占めるピクセル領域を記録し、誤検出のボックスがそれらの領域と重なるかどうかを比較します。赤外線の状態、シャッター、ゲイン、物体のサイズ、信頼度、エンコーダーのビットレートも記録してください。

ファイルイベント、推論フレーム、アラートのタイムスタンプを、クラウドサービスが前処理を密かに変更することなく比較できるよう、ローカルイベント処理のパイプラインでテストを行います。クモの巣や水滴は移動するため、複数の夜にわたって実施してください。

遮蔽物があるときにエラーが発生し、その画像領域と重なり、その他の条件を一致させると消えるなら、光学的干渉が原因だと判断できます。清掃後も障害が残る場合や、影響を受けたピクセルの外側で発生する場合は、モデルやストリームの変更を調査してください。雨によって動体トリガーだけが増える場合は、トリガー感度と分類精度を区別して考えます。