Was verursacht die Fehlklassifizierung von Aufnahmen in schlecht beleuchteten Innenräumen durch lokale Bildmodelle?

Lokale Bildmodelle klassifizieren dunkle Fotos aus dem Zuhause häufig falsch, weil schwache Beleuchtung das Signal, Rauschen, die Farben und die Merkmalsverteilung verändert, die das Modell erhält.

Ein selbst gehosteter Fotoklassifikator kann bei Familienfotos am Tag gut funktionieren, aber dieselben Personen, Haustiere, Räume oder Objekte auf Abendaufnahmen verwechseln. Der Fehler ist meist eine Kombination aus photonengrenzter Aufnahme und Domänenverschiebung, wobei Kameraverarbeitung und Bildverbesserung zusätzliche Variationen erzeugen. Wenn das Modell lokal ausgeführt wird, bleibt der Datenpfad geschützt – das Modell wird dadurch jedoch nicht unveränderlich gegenüber Dunkelheit.

Schlechte Lichtverhältnisse reduzieren das Signal, bevor das Modell das Foto sieht

Ein dunkles Foto ist nicht einfach ein helles Foto mit niedrigeren Pixelwerten. Weniger eingefangene Photonen verringern das Signal-Rausch-Verhältnis, während Ausleserauschen des Sensors, Schrot- beziehungsweise Photonenrauschen, Farbfehler und Kompression einen größeren Anteil des sichtbaren Bildes ausmachen.

Die Forschung in Scientific Reports zu Objekterkennung bei schlechten Lichtverhältnissen zeigt, warum Beleuchtungsabnahme und Rauschen als Wahrnehmungsproblem und nicht nur als Darstellungsproblem betrachtet werden müssen. Feine Details im Haushalt, etwa das Gesicht eines Haustiers, ein Paketetikett oder eine Person am Ende eines Flurs, können verschwinden, bevor die Klassifizierung beginnt.

Ein lokales Bildmodell kann Merkmale, die nie klar aufgenommen wurden, nicht zurückgewinnen. Mehr Rechenleistung kann die Rauschunterdrückung oder Bildverbesserung optimieren, aber die Eingangsinformation hat sich bereits verändert.

Bei Tageslicht trainierte Merkmale lassen sich nicht automatisch auf Nachtszenen übertragen

Viele Klassifikatoren und Vision-Encoder lernen aus Bildern, die von Tageslicht, Innenraumbeleuchtung, klarem Kontrast und gängiger Kameraverarbeitung geprägt sind. Nachtaufnahmen verändern gleichzeitig Helligkeit, Farbtemperatur, Schattenstruktur, Rauschen und häufig auch die Bewegungsunschärfe.

Die Arbeit auf der CVPR zu der Anpassung von Tag- an Nachtaufnahmen behandelt die nächtliche Erkennung als Problem der Domänenanpassung und nicht lediglich als Kontrastanpassung. Die Merkmale, die Objekte am Tag voneinander unterschieden, können sich im Merkmalsraum verschieben, wenn sich die Beleuchtung ändert.

Deshalb kann ein Modell denselben Stuhl, dieselbe Katze oder denselben Hauseingang mittags korrekt erkennen und um Mitternacht verwechseln, obwohl seine Gewichte und sein Etikettensatz unverändert sind.

Rauschen und Unschärfe zerstören zuerst kleine, unterscheidungskräftige Merkmale

Kameras für schlechte Lichtverhältnisse erhöhen häufig die ISO-Verstärkung oder die Belichtungszeit. Eine höhere Verstärkung verstärkt das Rauschen, während eine längere Belichtung Bewegungen der Hand, von Haustieren oder von Personen eher als Unschärfe sichtbar macht. Smartphone-Bildverarbeitung kann anschließend eine aggressive Rauschunterdrückung anwenden, die Texturen glättet.

Die IEEE-Forschung zu Vision bei schlechten Lichtverhältnissen konzentriert sich auf Bildverbesserung, die die nachgelagerte Objekterkennung statt nur das visuelle Erscheinungsbild unterstützt. Dieser Unterschied ist wichtig, denn ein Foto kann für eine Person sauberer aussehen und dennoch die Kanten oder Texturen verlieren, die ein Klassifikator verwendet.

Kleine Objektklassen sind besonders anfällig. Eine dunkle Fernbedienung kann mit einem Sofa verschmelzen, eine schwarze Katze kann Konturdetails verlieren und ein Etikett kann selbst nach dem Aufhellen unlesbar bleiben.

Featured

ZimaCube 2 Persönliche Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Kameraverarbeitung kann eine zweite Domänenverschiebung erzeugen

Fotobibliotheken im Haushalt enthalten Aufnahmen von Smartphones, Überwachungskameras, Webcams und älteren Digitalkameras sowie Screenshots und bearbeitete Exporte. Jedes Gerät wendet seine eigene Rauschunterdrückung, Schärfung, HDR-Zusammenführung, Tonwertzuordnung und Farbverarbeitung an, bevor das Modell die endgültige Datei erhält.

Forschung zur Anpassung von Low-Light-RAW-Aufnahmen zeigt, dass sich das Verhalten der Bildverbesserung über verschiedene Kameradomänen hinweg unterscheiden kann. Ein Modell, das auf die Nachtverarbeitung eines Geräts abgestimmt wurde, kann auf einem anderen Gerät daher eine andere Rauschstruktur und Farbwiedergabe vorfinden.

Wenn sich die Fehler auf eine Kamera und nicht auf alle dunklen Fotos konzentrieren, liegt das Problem nicht einfach an der Helligkeit. Die gerätespezifische Verarbeitung ist Teil der Eingangsverteilung.

Das Aufhellen des Bildes kann Menschen helfen, dem Modell aber schaden

Ein Bildverbesserungsmodell kann Schatten sichtbar machen, indem es lokalen Kontrast, Farben, Texturen und Rauschen verändert. Diese Bearbeitungen können die subjektive Sichtbarkeit verbessern, ohne dieselben Merkmale wiederherzustellen, die bei besserer Beleuchtung vorhanden gewesen wären.

Eine empirische Studie stellte fest, dass Bildverbesserung bei schlechten Lichtverhältnissen uneinheitliche Auswirkungen auf Klassifizierung und Erkennung hat. Einige Verfahren zur Bildverbesserung verbessern die maschinelle Wahrnehmung, während andere Artefakte erzeugen oder nützliche Hinweise unterdrücken können.

In einem lokalen KI-Workflow für Fotos sollte die Bildverbesserung mit dem tatsächlich nachgelagerten Modell überprüft werden. Eine schönere Vorschau ist kein Beleg dafür, dass sich die Genauigkeit der Verschlagwortung verbessert hat.

Beleuchtungsfehler von Modell- und Datensatzfehlern unterscheiden

Ein nützlicher Testsatz verwendet dieselben Haushaltsobjekte oder Personen in hellen, schwach beleuchteten und sehr dunklen Szenen, während Kamera, Bildausschnitt und Etikett konstant bleiben. Vergleichen Sie Konfidenz, Fehlertyp und jeden Vorverarbeitungsschritt bei den verschiedenen Helligkeitsstufen.

Der Leitfaden von ZimaSpace zur lokalen KI-Fotoorganisation beschreibt die Anwendungsebene. Eine zuverlässige Organisation hängt jedoch weiterhin davon ab, ob das Vision-Modell stabile Merkmale in den Ausgangsbildern erkennt.

Wenn die Leistung nur bei Dunkelheit abnimmt, sammeln Sie Beispiele bei schlechten Lichtverhältnissen, verwenden Sie ein für diese Domäne trainiertes oder angepasstes Modell oder verbessern Sie die Aufnahmebedingungen. Wenn eine Klasse unter allen Bedingungen fehlschlägt, sind der Etikettenraum oder die Trainingsdaten eher die Ursache.

Diese Unterscheidung ist auch bei Änderungen der Bildgröße wichtig. ZimaSpaces Erklärung zu Bildauflösung und multimodaler KI-Auslastung zeigt, dass die Vorverarbeitung die Informationen und den Rechenpfad unabhängig von der Beleuchtung verändern kann.