写真を回転すると顔検索のクラスタが分離するのはなぜですか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

Why Do Face Search Clusters Separate After Photos Are Rotated? - Zima Store Online

顔検索のクラスタは、回転後に検出とアライメントによって新しい向きの画像から異なる切り抜きや埋め込みが生成されるため、分離することがあります。

人には家族写真を回転しても同じ人物に見えますが、処理パイプラインではEXIFの向きが異なる方法でデコードされ、すべてのピクセルが再サンプリングされ、顔が再検出されて新しいランドマークが推定される場合があります。切り抜きの位置がずれると、エンコーダーに入力されるポーズ、背景、鮮明さ、顔の比率が変わります。その結果、人物が変わっていなくても、境界線上にある照合結果がクラスタリングのしきい値を超えることがあります。

保存された向きとピクセルの回転は異なる入力です

EXIFの向きの編集では、圧縮されたピクセルを変更せず、ビューアーに回転を指示するだけの場合があります。物理的な回転ではラスターが書き換えられ、通常は再圧縮されます。インデックス作成時に一方の処理では向きを適用し、別の処理では無視したり二重に適用したりすると、検出器が異なるジオメトリを認識します。

面内顔回転に関する研究では、任意の面内顔回転を独立した検出課題として扱い、候補の向きを段階的に調整します。明示的なキャリブレーションが必要であることは、標準的な正立顔検出器が360度にわたって自動的に不変になるわけではないことを示しています。

以前にインデックス化された顔には正立した切り抜きが残っている一方、再生成されたレコードは横向きの生ピクセルから始まる場合があります。その逆も同様です。したがって、キャッシュの無効化と向きの正規化によって、見た目が同等の写真が同じ処理経路をたどるかどうかが決まります。

ランドマークのアライメントは小さな回転誤差を新しい切り抜きに変換します

顔認識システムでは通常、目、鼻、口を検出し、切り抜きを回転・拡大縮小して標準的なポーズに変換します。ランドマークの推定が異なるとアフィン変換が変わり、髪、あご、背景、顔のピクセルのどの部分が各エンコーダー位置に入るかが変化します。

回転依存の顔特徴に関する顔認識研究では、回転を深い特徴を変化させる要素としてモデル化し、それを補正する方法を学習します。この仕組みは、ポーズや回転が埋め込み空間に表現され、自動的に消えるわけではないという見解を裏付けます。

補間によってぼけやリンギングが生じ、JPEGでの保存を繰り返すと細かなテクスチャが失われます。小さい顔、暗い顔、横顔は、大きく正面を向いた顔よりも品質が低下しやすいため、同じ回転操作でも人物のクラスタ内で最も弱い画像だけが分離することがあります。

クラスタリングは連続的な埋め込みの移動を目に見える分離に変えます

埋め込みは連続的に移動しますが、クラスタリングではしきい値、近傍ルール、またはリンケージの判定が適用されます。距離がわずかに増えるだけで、1枚の写真がグラフから切り離されることがあります。また、そのつながりに依存していた別の画像も、クラスタを再実行すると分離する可能性があります。

顔埋め込みの品質に関する研究では、顔特徴の大きさと認識品質の関係を示し、難しく品質の低いサンプルが信頼性の低い領域に位置することを示しています。そのため、回転によるぼけやアライメントの悪化は、類似度と信頼度の両方に影響する可能性があります。この違いは、後の家庭内テストでも確認できます。

問題の境界線は、回転後に生じた分離をすべて回転不変性の欠如とみなすことです。新しい顔モデル、変更されたクラスタリングしきい値、再生成されたサムネイル、重複人物の統合が、編集と同時に発生している可能性があります。原因を特定する前に、固定した1つの処理パイプラインで元のピクセルと回転後のピクセルを再埋め込みしてください。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

顔処理パイプライン全体で回転不変性をテストする

代表的な正面顔、横顔、小さい顔、暗い顔、部分的に遮られた顔について、可逆な0、90、180、270度のバリエーションと、EXIFのみを変更した回転画像を作成します。デコードされた向き、検出ボックス、ランドマーク、アライメント済みの切り抜き、品質スコア、埋め込み、最近傍の人物ID、クラスタ所属を記録します。

写真検索コンポーネントを検索可能な写真パイプラインの一覧として使用し、その出力を比較します。モデル、しきい値、サムネイルサイズ、クラスタリングアルゴリズムを固定したうえで、検出再現率、切り抜きの重なり、同一人物間のコサイン距離、最近傍保持率、クラスタの連結性を測定します。自動化を進める前に、中間結果を検証可能な状態にしておく必要があります。

検出前に向きを正規化し、非可逆保存を繰り返さないようにします。回転後の切り抜きに一貫性が残らない場合は、回転対応の検出器またはデータ拡張を使用します。境界線上の写真だけが分離する場合は、しきい値を全体的に緩めて別人を統合するのではなく、手動の人物IDリンクを保持します。