Waarom worden clusters van gezichtszoekopdrachten gescheiden nadat foto's zijn gedraaid?

Gezichtszoekclusters kunnen na rotatie uiteenvallen, omdat detectie en uitlijning andere uitsneden en embeddings kunnen opleveren uit de opnieuw georiënteerde afbeelding.

Een familiefoto roteren lijkt voor een persoon de identiteit te behouden, maar de pipeline kan de EXIF-oriëntatie anders decoderen, elke pixel opnieuw samplen, het gezicht opnieuw detecteren en nieuwe oriëntatiepunten schatten. Een verschoven uitsnede verandert de pose, achtergrond, scherpte en gezichtsverhoudingen die aan de encoder worden gepresenteerd. Grensgevallen kunnen daardoor de clusterdrempel overschrijden, ook al is de persoon onveranderd.

Opgeslagen oriëntatie en pixelrotatie zijn verschillende invoerwaarden

Een wijziging van de EXIF-oriëntatie kan de gecomprimeerde pixels ongemoeid laten en kijkers alleen instrueren om ze te roteren. Bij een fysieke rotatie wordt het raster opnieuw geschreven en meestal opnieuw gecomprimeerd. Als indexering de oriëntatie in de ene stap toepast, maar die in een andere stap negeert of dubbel toepast, ziet de detector een andere geometrie.

Onderzoek naar gezichtsrotatie in het beeldvlak behandelt willekeurige gezichtsrotatie in het beeldvlak als een afzonderlijke detectie-uitdaging en kalibreert de oriëntatie van kandidaten stapsgewijs. De behoefte aan expliciete kalibratie laat zien dat een standaarddetector voor rechtopstaande gezichten niet automatisch invariant is over 360 graden.

Een eerder geïndexeerd gezicht kan een rechtopstaande uitsnede behouden, terwijl het opnieuw gegenereerde record begint met ruwe zijwaartse pixels, of andersom. Cache-invalidatie en oriëntatienormalisatie bepalen daarom of visueel equivalente foto's hetzelfde proces volgen.

Uitlijning op basis van oriëntatiepunten zet kleine rotatiefouten om in nieuwe uitsneden

Gezichtssystemen detecteren doorgaans de ogen, neus en mond en roteren en schalen vervolgens een uitsnede naar een canonieke pose. Een andere schatting van de oriëntatiepunten verandert de affiene transformatie, waardoor andere haar-, kin-, achtergrond- en gezichtspixels op elke encoderpositie terechtkomen.

Een gezichtsherkenningsonderzoek naar rotatieafhankelijke gezichtskenmerken modelleert rotatie als een component die diepe kenmerken verandert en leert hiervoor te compenseren. Dit mechanisme ondersteunt de observatie dat pose en rotatie in de embeddingruimte worden weergegeven en niet automatisch verdwijnen.

Interpolatie voegt vervaging en ringing toe, terwijl herhaald opslaan als JPEG fijne texturen vermindert. Een klein, donker of zijaanzichtgezicht verliest meer kwaliteit dan een groot gezicht van voren, waardoor dezelfde rotatiebewerking alleen de zwakste leden van een persoonscluster kan splitsen.

Clustering zet continue verschuivingen in embeddings om in een zichtbare splitsing

Embeddings verschuiven continu, maar clustering past een drempel, buurtregel of koppelingsbeslissing toe. Een kleine toename van de afstand kan één foto loskoppelen van de graaf, waarna het opnieuw uitvoeren van de clustering extra afbeeldingen kan scheiden die van die verbinding afhankelijk waren.

Het werk over kwaliteit van face embeddings koppelt de grootte van gezichtskenmerken aan herkenningskwaliteit en laat zien dat moeilijke samples van lage kwaliteit zich in minder betrouwbare gebieden bevinden. Door rotatie veroorzaakte vervaging of slechtere uitlijning kan daardoor zowel de overeenkomst als het vertrouwen beïnvloeden. Dit onderscheid blijft zichtbaar tijdens latere tests in de huishoudelijke omgeving.

De fout ligt in het behandelen van elke splitsing na rotatie als een gebrek aan rotatie-invariantie. Een nieuw gezichtsmodel, een gewijzigde clusterdrempel, opnieuw gegenereerde miniaturen of het samenvoegen van dubbele personen kan samenvallen met de bewerking. Maak opnieuw embeddings van de originele en geroteerde pixels via één bevroren pipeline voordat je een oorzaak toewijst.

Featured

ZimaCube 2 Persoonlijke Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Voer een rotatie-invariantietest uit via de volledige gezichtspipeline

Maak verliesvrije varianten van 0, 90, 180 en 270 graden, plus rotaties die alleen de EXIF-gegevens wijzigen, voor representatieve gezichten van voren, in profiel, kleine en donkere gezichten en gedeeltelijk afgedekte gezichten. Leg de gedecodeerde oriëntatie, het detectievak, de oriëntatiepunten, de uitgelijnde uitsnede, de kwaliteitsscore, de embedding, de dichtstbijzijnde identiteit en het clusterschap vast.

Gebruik componenten voor het zoeken in foto's als inventaris van de pipeline voor doorzoekbare foto's en vergelijk vervolgens de uitvoer. Meet detectierecall, overlap van uitsneden, cosine-afstand tussen dezelfde personen, behoud van de dichtstbijzijnde buren en clusterconnectiviteit, terwijl je het model, de drempel, het formaat van miniaturen en het clusteringalgoritme vastzet. Het tussenresultaat moet controleerbaar blijven voordat automatisering het proces overneemt.

Normaliseer de oriëntatie vóór detectie en vermijd herhaald opslaan met kwaliteitsverlies. Als geroteerde uitsneden inconsistent blijven, gebruik dan een rotatiebewuste detector of data-augmentatie; als alleen grensgevallen splitsen, behoud dan handmatige identiteitskoppelingen in plaats van de drempel overal te verlagen en verschillende personen samen te voegen.