Warum trennen sich Gesichts-Suchcluster, nachdem Fotos gedreht wurden?

Gesichtssuch-Cluster können sich nach einer Drehung aufteilen, weil Erkennung und Ausrichtung aus dem neu orientierten Bild andere Ausschnitte und Embeddings erzeugen können.

Für einen Menschen scheint ein gedrehtes Familienfoto die Identität zu bewahren, doch die Pipeline dekodiert die EXIF-Ausrichtung möglicherweise anders, resampelt jedes Pixel, erkennt das Gesicht erneut und schätzt neue Orientierungspunkte. Ein verschobener Ausschnitt verändert die dem Encoder präsentierte Pose, den Hintergrund, die Schärfe und die Gesichtsproportionen. Grenzwertige Übereinstimmungen können dadurch die Cluster-Schwelle überschreiten, obwohl die Person unverändert ist.

Gespeicherte Ausrichtung und Pixeldrehung sind unterschiedliche Eingaben

Eine Änderung der EXIF-Ausrichtung kann die komprimierten Pixel unverändert lassen und Anzeigeprogrammen lediglich mitteilen, dass sie gedreht werden sollen. Eine physische Drehung schreibt das Raster neu und komprimiert es normalerweise erneut. Wenn die Indizierung die Ausrichtung in einem Durchlauf anwendet, sie in einem anderen jedoch ignoriert oder doppelt anwendet, sieht der Detektor eine andere Geometrie.

Forschung zur in-plane-Gesichtsdrehung behandelt beliebige Drehungen von Gesichtern innerhalb der Bildebene als eigenständige Erkennungsherausforderung und kalibriert die Ausrichtung von Kandidaten schrittweise. Die Notwendigkeit einer expliziten Kalibrierung zeigt, dass ein standardmäßiger Detektor für aufrecht stehende Gesichter nicht automatisch über 360 Grad invariant ist.

Ein zuvor indiziertes Gesicht kann einen aufrecht ausgerichteten Ausschnitt behalten, während der neu erzeugte Datensatz von rohen, seitlich liegenden Pixeln ausgeht - oder umgekehrt. Cache-Invalidierung und Ausrichtungsnormalisierung bestimmen daher, ob visuell gleichwertige Fotos denselben Verarbeitungspfad durchlaufen.

Die Ausrichtung anhand von Orientierungspunkten verwandelt kleine Drehfehler in neue Ausschnitte

Gesichtssysteme erkennen häufig Augen, Nase und Mund und drehen und skalieren anschließend einen Ausschnitt in eine kanonische Pose. Eine andere Schätzung der Orientierungspunkte verändert die affine Transformation und verschiebt, welche Haar-, Kinn-, Hintergrund- und Gesichtspixel jede Position im Encoder einnehmen.

Eine Studie zur Gesichtserkennung mit drehungsabhängigen Gesichtsmerkmalen modelliert die Drehung als Komponente, die tiefe Merkmale verändert, und lernt, dies auszugleichen. Dieser Mechanismus stützt die Beobachtung, dass Pose und Drehung im Embedding-Raum repräsentiert werden, statt automatisch zu verschwinden.

Interpolation fügt Unschärfe und Ringing-Artefakte hinzu, während wiederholtes Speichern als JPEG feine Texturen verringert. Ein kleines, dunkles oder im Profil aufgenommenes Gesicht verliert mehr Qualität als ein großes Gesicht in Frontalansicht. Daher kann derselbe Drehvorgang nur die schwächsten Mitglieder eines Personen-Clusters aufteilen.

Clustering verwandelt kontinuierliche Embedding-Bewegungen in eine sichtbare Aufteilung

Embeddings bewegen sich kontinuierlich, doch Clustering wendet eine Schwelle, eine Nachbarschaftsregel oder eine Verknüpfungsentscheidung an. Eine kleine Distanzzunahme kann ein Foto vom Graphen trennen, und eine erneute Clusterbildung kann weitere Bilder abtrennen, die von dieser Verbindung abhingen.

Die Arbeit zu Qualität von Gesichts-Embeddings verknüpft die Größe von Gesichtsmerkmalen mit der Erkennungsqualität und zeigt, dass schwierige Proben mit geringer Qualität weniger zuverlässige Bereiche einnehmen. Durch die Drehung verursachte Unschärfe oder eine schlechtere Ausrichtung kann daher sowohl die Ähnlichkeit als auch die Konfidenz beeinflussen. Dieser Unterschied bleibt auch bei späteren Tests im Haushalt sichtbar.

Die Fehlergrenze besteht darin, jede Aufteilung nach einer Drehung als fehlende Drehungsinvarianz zu behandeln. Ein neues Gesichtsmodell, eine geänderte Cluster-Schwelle, neu erzeugte Vorschaubilder oder das Zusammenführen doppelter Personen können zeitgleich mit der Bearbeitung auftreten. Erzeuge Embeddings aus den ursprünglichen und gedrehten Pixeln durch eine einheitliche, unveränderte Pipeline, bevor du die Ursache zuweist.

Featured

ZimaCube 2 Persönliche Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Führe einen Test zur Drehungsinvarianz durch die gesamte Gesichtspipeline durch

Erstelle verlustfreie Varianten mit 0, 90, 180 und 270 Grad sowie ausschließlich per EXIF gedrehte Varianten für repräsentative Gesichter in Frontal- und Profilansicht, kleine und dunkle Gesichter sowie teilweise verdeckte Gesichter. Erfasse die dekodierte Ausrichtung, die Detektor-Box, die Orientierungspunkte, den ausgerichteten Ausschnitt, den Qualitätswert, das Embedding, die nächstgelegene Identität und die Cluster-Zugehörigkeit.

Nutze Komponenten für die Fotosuche als Bestandsaufnahme einer durchsuchbaren Foto-Pipeline und vergleiche anschließend die Ergebnisse. Miss die Erkennungsrate, die Überlappung der Ausschnitte, die Kosinusdistanz derselben Person, die Beibehaltung des nächsten Nachbarn und die Cluster-Konnektivität, während Modell, Schwelle, Größe der Vorschaubilder und Clustering-Algorithmus unverändert bleiben. Das Zwischenergebnis muss überprüfbar bleiben, bevor die Automatisierung darauf aufbaut.

Normalisiere die Ausrichtung vor der Erkennung und vermeide wiederholtes verlustbehaftetes Speichern. Wenn gedrehte Ausschnitte weiterhin uneinheitlich bleiben, verwende einen drehungsbewussten Detektor oder eine Augmentierung. Wenn sich nur grenzwertige Fotos aufteilen, bewahre manuelle Identitätsverknüpfungen auf, anstatt die Schwelle global zu lockern und dadurch verschiedene Personen zusammenzuführen.