Warum ändern sich KI-Fotobezeichnungen nach einem Modell-Upgrade?

KI-Fotobezeichnungen ändern sich nach einem Upgrade, weil das neue Modell Bilder anders repräsentiert, Bezeichnungen anders vergleicht und andere Konfidenzgrenzen als das alte Modell verwendet.

Eine selbst gehostete Fotobibliothek kann dieselben Originaldateien behalten, während sich Smart-Search-Begriffe, erkannte Objekte, Gesichtsgruppen, Vorschläge für Duplikate oder Szenenbezeichnungen nach einem Update ändern. Diese Bezeichnungen sind abgeleitete Datenbankeinträge und keine dauerhaft in das Bild geschriebenen Fakten. Wenn sich der visuelle Encoder, der Text-Encoder, das Klassenvokabular, der Schwellenwert, die Vorverarbeitungspipeline oder die Clustering-Regel ändert, berechnet das System neu, wo ein Foto eingeordnet wird.

Eine Fotobezeichnung ist eine Modellentscheidung, keine dauerhaften Metadaten

Kamera-Zeitstempel und Dateinamen können aus gespeicherten Daten gelesen werden. Bezeichnungen wie „Strand“, „Hund“, „Geburtstag“ oder „Fahrzeug“ sind dagegen Vorhersagen, die von einer bestimmten Modellversion und Konfiguration erzeugt werden.

Amazon Rekognition gibt zusammen mit den Ergebnissen die Version des Modells zur Bezeichnungserkennung zurück, weil die Version Teil der Bedeutung der Vorhersage ist. Der Dienst stellt außerdem Aliase, Kategorien und Konfidenzwerte bereit, anstatt eine einzelne Bezeichnung als unveränderliche Eigenschaft zu behandeln.

Ein lokales Fotosystem sollte dieselbe Herkunftsinformation bewahren. Ohne Modellnamen, Version, Vorverarbeitungseinstellungen und Zeitpunkt des Jobs kann ein Administrator nicht feststellen, ob eine geänderte Bezeichnung auf ein neues Modell, einen anderen Schwellenwert oder einen beschädigten Index zurückzuführen ist.

Neue Embeddings erzeugen einen anderen Ähnlichkeitsraum

Smart-Search-Systeme wandeln jedes Bild üblicherweise in einen Vektor um. Textabfragen und mögliche Konzepte werden in denselben Raum abgebildet, und Bezeichnungen oder Suchergebnisse hängen davon ab, welche Elemente am nächsten beieinander liegen.

Qdrant erklärt, dass selbst kleine Änderungen am Embedding-Modell die Geometrie des Vektorraums verschieben können. Für genaue Vergleiche müssen die Daten dann erneut in Embeddings umgewandelt und indiziert werden.

Die alten und neuen Vektoren liefern keine vergleichbaren Werte. Ein Foto, das in einem Raum nahe bei „Garten“ liegt, kann in einem anderen näher bei „Park“ oder „Hinterhof“ liegen, auch wenn beide Modelle die Szene sinnvoll beschreiben.

Kandidatenwörter und Prompts bestimmen den Gewinner

Zero-Shot-Klassifizierung entdeckt nicht unabhängig von der Sprache eine universelle Bezeichnung. Sie vergleicht ein Bild mit vorgegebenen Kandidatenbezeichnungen oder Text-Prompts und ordnet diese Alternativen.

Der Zero-Shot-Workflow zur Bildklassifizierung von Hugging Face erstellt ausdrücklich Prompts für Kandidatenbezeichnungen wie „This is a photo of …“, bevor diese anhand eines Bildes bewertet werden.

Ein Upgrade kann Bezeichnungen hinzufügen, umbenennen oder übersetzen sowie Prompt-Vorlagen ändern. Durch das Hinzufügen von „Golden Retriever“ kann die allgemeinere Bezeichnung „Hund“ ersetzt werden, während das Entfernen einer spezifischen Klasse dazu führen kann, dass dasselbe Bild auf „Tier“ zurückfällt.

Featured

ZimaCube 2 Persönliche Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Bezeichnungshierarchien verändern die Detailstufe

Fotobezeichnungen bilden häufig Eltern-Kind-Beziehungen: Fahrzeug, Auto, Sportwagen; Lebensmittel, Dessert, Kuchen. Je nach Modell und Benutzeroberfläche kann das System die spezifischste Klasse, die übergeordnete Klasse oder mehrere Ebenen anzeigen.

Die CHiLS-Forschung zeigt, dass hierarchische Bezeichnungssätze die Klassifizierung verändern können, indem Unterklassen erzeugt und Vorhersagen anschließend wieder übergeordneten Kategorien zugeordnet werden.

Eine aktualisierte Ontologie kann Bezeichnungen daher spezifischer oder allgemeiner erscheinen lassen, ohne dass die Genauigkeit eindeutig schlechter wird. Bei einer Prüfung sollten die Hierarchie und die Zuordnungsregeln verglichen werden, nicht nur das Vorhandensein der alten Zeichenfolge.

Konfidenzschwellen bestimmen, welche Bezeichnungen sichtbar werden

Modelle geben gewöhnlich mehrere Kandidaten mit Bewertungen zurück. Die Anwendung entscheidet, wie viele davon gespeichert werden und welche Mindestkonfidenz erforderlich ist, bevor eine Bezeichnung in der Suche oder in der Fotodetailansicht erscheint.

Eine Änderung des Schwellenwerts kann Bezeichnungen an der Grenze ausblenden oder deutlich mehr schwache Bezeichnungen sichtbar machen. Wenn die Bewertung eines Modells anders kalibriert ist als die seines Vorgängers, kann trotz besserer Rangfolgequalität ein anderer Schwellenwert erforderlich sein.

Speichere während der Evaluierung die Rohbewertungen oder die Top-k-Bewertungen und lege anschließend Anzeigeschwellen pro Modellversion fest. Derselbe numerische Grenzwert für nicht verwandte Modelle kann ein Upgrade instabil erscheinen lassen, obwohl das eigentliche Problem in der Kalibrierung der Bewertungen liegt.

Gesichtsgruppen können sich ändern, auch wenn Objektbezeichnungen gleich bleiben

Gesichtserkennung erstellt normalerweise Embeddings für erkannte Gesichter und gruppiert nahe beieinanderliegende Punkte zu Personen. Ein neuer Detektor kann den Bildausschnitt verändern, während ein neues Erkennungsmodell die Abstände zwischen Gesichtsvektoren verändert.

DBSCAN gruppiert Punkte anhand des Nachbarschaftsradius und der Mindestdichte. Die Abstands- und Dichteparameter bestimmen, ob ein Gesicht einer Person zugeordnet wird, eine weitere Gruppe bildet oder ein Ausreißer bleibt.

Modelländerungen und Änderungen am Clustering sollten getrennt geprüft werden. Ein sauberer zugeschnittenes Gesicht kann eine zuvor zusammengeführte Person aufteilen, während ein großzügigerer Abstandsschwellenwert ähnlich aussehende Verwandte zusammenführen kann.

Teilweise erneute Verarbeitung vermischt zwei Generationen von Bezeichnungen

Wenn nur neue Fotos mit dem aktualisierten Modell verarbeitet werden, enthält die Bibliothek gleichzeitig alte und neue semantische Räume. Suchergebnisse und Bezeichnungen können dann davon abhängen, wann das jeweilige Asset in das System aufgenommen wurde.

Immich weist Administratoren an, alle Assets nach einer Änderung des Smart-Search-Modells erneut zu verarbeiten, und weist darauf hin, dass inkompatible Daten des vorherigen Modells sonst Fehler verursachen können.

Verwende einen versionierten Neuaufbau oder einen zweiten Index, überprüfe den Abschluss und schalte die Suchvorgänge anschließend atomar um. Lösche den alten Index erst, wenn die neue Generation vollständige Asset-Anzahlen und akzeptable Abruf-Tests aufweist.

Vorhersagen versionieren und manuelle Korrekturen schützen

Halte vom Modell erzeugte Bezeichnungen getrennt von benutzerdefinierten Alben, manuellen Tags, benannten Personen und Entscheidungen über ausgeblendete Bezeichnungen. Ein automatisierter Neuaufbau sollte die organisatorische Arbeit der Benutzer nicht unbemerkt überschreiben.

Bewerte vor der Bereitstellung einen festen Satz repräsentativer Fotos. Vergleiche hinzugefügte und entfernte Bezeichnungen, Änderungen der Rangfolge, Fehlalarme, Aufteilungen und Zusammenführungen von Gesichtern sowie für den Haushalt wichtige Suchanfragen.

Der Artikel von ZimaSpace darüber, wie sich die Bildauflösung auf die Last multimodaler KI auswirkt, fügt eine weitere Variable hinzu: Die Auflösung der Vorverarbeitung und die Zuschneidepraxis können die visuellen Informationen verändern, die dem aktualisierten Modell zur Verfügung gestellt werden.

FAQ

Bedeutet eine geänderte Bezeichnung, dass das neue Modell schlechter ist?

Nein. Es kann ein anderes Vokabular verwenden oder eine spezifischere Klasse innerhalb einer Eltern-Kind-Hierarchie auswählen. Die Genauigkeit muss anhand repräsentativer Fotos und der vorgesehenen Suchaufgaben bewertet werden.

Sollten alte KI-Bezeichnungen sofort gelöscht werden?

Nein. Bewahre die alte Generation auf, bis die erneute Verarbeitung und der Vergleich abgeschlossen sind. Versionierte Bezeichnungen ermöglichen ein Zurücksetzen und eine Regressionsanalyse.

Können manuelle Fototags Modell-Upgrades überstehen?

Ja, wenn manuelle Tags getrennt von generierten Vorhersagen gespeichert werden und Neuaufbau-Jobs auf modellverwaltete Felder beschränkt sind.