レンズ補正後、スマートドアベルの顔が違って見えるのはなぜ？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

Why Do Smart Doorbell Faces Look Different After Lens Correction? - Zima Store Online

スマートドアベルの顔は、補正後に見た目が変わることがあります。これは、歪み補正によって広角画像のピクセルが新しい幾何学的形状とサンプリンググリッドに再マッピングされるためです。

ドアベルのフレームの端付近にいる訪問者は、補正前には幅広く、補正後には細く見えることがありますが、顔フィルターが適用されたわけではありません。ソフトウェアはレンズ投影を逆補正しようとした後、その結果を長方形に再サンプリングしています。位置、キャリブレーション、クロップ方針によって、再マッピングされた顔がどれほど自然に見えるかが決まります。

歪み補正が変えるのは直線だけでなく座標

樽型歪みは、シーンの幾何形状を非線形に外側へ押し広げます。補正では、各出力ピクセルが元画像のどこをサンプリングすべきかを計算し、壁やドア枠をまっすぐにすると同時に、顔の特徴の位置も移動させます。光学中心付近の顔はほとんど変わりませんが、隅に近い顔は大きく変わることがあります。

レンズ歪みに関する技術解説では、短い焦点距離では一般に線が外側へ湾曲すると説明されています。顔も同じ投影の中にあるため、フレームを補正すると、見かけ上の幅や特徴間の間隔も必然的に変化します。

補正された顔が自動的に真実性を失うわけではありません。多くの場合、ピンホールカメラの視点に幾何学的に近づきますが、見る人はドアベルの未補正画像に慣れている可能性があります。歪んだ見た目に慣れていると、正確な補正が改変のように見えることがあります。

再サンプリングによって顔の細部が再配分される

補正では一部の領域が引き伸ばされ、別の領域が圧縮されるため、出力ピクセルは周囲のセンサーサンプルから補間されます。端部付近では、ソフトウェアが疎な元ピクセルの間に中間値を生成することがあり、目や肌の質感がぼやけます。その後のクロップで空白の境界が取り除かれ、顔の位置が移動したり拡大されたりすることもあります。

カメラ距離に対する堅牢性に関する研究では、カメラからの距離と倍率の歪みが、顔画像を参照画像として利用する際の有用性に影響すると示されています。そのため、訪問者が移動していなくても、補正とクロップによって照合に使われる証拠が変化する可能性があります。

ドアベルは補正前に顔検出を実行し、補正後の映像を表示することもあれば、その逆もあります。検出ボックスとクロップが異なる座標空間から取得されている場合、アラートに表示される顔は認識に使われたピクセルと異なることがあります。このパイプラインの違いは、見た目の好みよりも重要です。

レンズ補正では説明できない場合

訪問者が同じ位置にとどまり、マッピングも固定されているのに、隣り合うフレーム間で顔が変化する場合、その変化を補正だけでは説明できません。自動露出、HDR合成、ローリングシャッター、ビットレートの変化、メインストリームとサブストリームの切り替えなども、独立して見た目を変える可能性があります。アプリによっては、アラート用スナップショットをライブ映像とは別に補正・強調することもあります。

顔画像の解像度に関する体系的な研究では、解像度がしきい値を下回ると認識性能が低下することが示されています。補正プロファイルによって、センサーがそもそも解像できなかった顔の細部を再現することはできません。補正後のクロップを拡大しても、補間結果が拡大されるだけの場合があります。

中央の顔も端の顔と同じ程度に変化する場合、レンズ機構ではなく、全体的なリサイズや画像処理の違いが示唆されます。未補正画像と補正画像の撮影時刻が異なる場合も、この説明は成り立ちません。変化を幾何学的要因のせいにする前に、同期したフレームを比較してください。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

固定した位置で未補正の顔と補正後の顔を比較する

訪問者が中央、中央寄り、端の位置を通過する様子を録画し、同期した未補正フレームと補正後フレームを保存します。キャリブレーションポイントを重ね、両目の間隔、顔ボックスの寸法、鮮明さ、クロップ境界を比較してください。サンプル取得中は、HDR、露出、ストリーム、アプリケーションのバージョンを固定します。

ローカルファースト処理の経路を使うと、補正と認識を保存映像の近くで実行できるため、アラート用クロップをどのリモートサービスが生成したのかに関する曖昧さを減らせます。イベント記録には、両方の座標マッピングを保持してください。

端に近づくほど幾何形状の変化が大きくなり、同じ位置で一貫して再現されるなら、レンズ補正が原因だと考えられます。直線が曲がったまま、または顔が非対称になる場合は、キャリブレーションを疑ってください。変化が均一で、時間によって変動したり、アプリが生成したスナップショットにだけ現れたりする場合は、別の処理経路を疑ってください。