Mirage lokal ausführen: OCR und Objekterkennung aus einem einzigen Bild

Eva Wong

IceWhale author

Eva Wong ist die technische Redakteurin und begeisterte Tüftlerin bei ZimaSpace. Als lebenslanger Geek mit einer Leidenschaft für Homelabs und Open-Source-Softwarehat sie sich darauf spezialisiert, komplexe technische Konzepte in verständliche, praxisnahe Anleitungenzu übersetzen. Eva ist überzeugt, dass Self-Hosting Spaß machen sollte und nicht einschüchternd sein darf. Mit ihren Tutorials hilft sie der Community dabei, Hardware-Setups zu durchschauen, vom Bau des ersten NAS bis zum sicheren Umgang mit Docker-Containern.

Run Mirage Locally: OCR and Object Detection from One Image - Zima Store Online

Mirage von Cactus Compute kann ein lokales Bild untersuchen und Text, Objektpositionen sowie strukturierte Felder ausgeben. Das ungefähr 22 MB große Zwei-Bit-Modell des Entwicklers ist klein genug, um es auszuprobieren, ohne einen mehrere Gigabyte großen Vision-Checkpoint herunterzuladen. Beginne mit einem Geräteetikett oder einem sauberen Screenshot und vergleiche die ausgegebenen Felder mit dem Originalbild, bevor du einen Arbeitsablauf automatisierst.

Die offizielle Veröffentlichung beschreibt ein Vision-Modell mit 51,3 Millionen Parametern, eine lokale Browser-Demo und eine installierbare Runtime. Angegeben werden 74 ms auf einer Samsung-Galaxy-S26-NPU-Konfiguration und 107 ms auf der CPU dieses Smartphones. Diese Zeiten beziehen sich auf genau diese Konfiguration. Überprüfe Leistung und Genauigkeit mit deinem eigenen Gerät und deinen eigenen Eingaben.

Für welche Aufgaben eignet sich dieses Modell?

Mirage kann Szenen beschreiben, Objekte erkennen, Text lesen, Masken ausgeben und gezielte Fragen beantworten. Bei einer Inventuraufgabe könntest du das Modell bitten, ein Etikett zu erkennen, den Textbereich zu extrahieren und eine begrenzte Anzahl von Feldern auszugeben. Bei Fotos könntest du Objektpositionen als Hinweise für eine menschliche Prüfung nutzen. Eine strukturierte Antwort ist hilfreich, wenn sie auf die entsprechenden Bildbelege verweist.

Der Entwickler gibt sieben Sprachen für Bildbeschreibungen an. Gehe nicht davon aus, dass damit alle OCR-Schriften unterstützt werden. Die Texterkennung kann einen Akzent übersehen, ähnliche Ziffern verwechseln oder einen kleinen Bereich auslassen. Cactus selbst zeigt in der Demo zur Veröffentlichung ein fehlerhaftes OCR-Ergebnis. Die Modellkarte enthält Links zu den Runtime-Anforderungen und Beispieleingaben.

Die veröffentlichte Mirage-Übersicht von Cactus Compute zeigt OCR, Masken und Szenenextraktion. Originalquelle

Wie führst du das erste lokale Beispiel aus?

Probiere die von Cactus verlinkte Browser-Sandbox mit einem unbedenklichen Testbild aus. Verwende anschließend das Python-Paket auf einer vom Cactus-Runtime unterstützten Plattform. Richte eine frische Umgebung ein und verwende ein Bild, über das du verfügst.

python -m venv .venv
source .venv/bin/activate
python -m pip install -U cactus-compute

Das veröffentlichte Beispiel des Pakets lautet:

import cactus

model = cactus.Mirage()
print(model.describe("photo.png"))

Bei der ersten Verwendung kann das Paket die Engine und das Modell herunterladen und zwischenspeichern. Miss die Dauer dieser Einrichtung getrennt von der Inferenz. Um einen späteren Offline-Ablauf zu bestätigen, schließe die Erstinstallation ab und teste dann eine lokale Datei bei deaktivierter Netzwerkverbindung in einer isolierten Umgebung. Prüfe die Laufzeitversion und das Cache-Verhalten, statt sie aus dem Paketnamen abzuleiten.

Wie solltest du einen kleinen Genauigkeitstest aufbauen?

Nimm drei Bilder desselben Etiketts auf: eines bei gleichmäßiger Beleuchtung und gerade ausgerichtet, eines gedreht oder spiegelnd und eines mit einem weiteren Etikett daneben. Halte eine Referenztranskription bereit. Vergleiche die exakten Zeichen und Feldzuordnungen, nicht nur, ob die Ausgabe eine plausible Zeichenfolge enthält. Prüfe bei der Objekterkennung die Begrenzungsrahmen. Ein korrektes Etikett, das dem falschen Objekt zugeordnet ist, kann einen nachgelagerten Inventareintrag unbrauchbar machen.

Eingabe	Sinnvolle Prüfung	Typischer Fehler, der überprüft werden sollte
Geräteetikett	Exakte Seriennummer und Modellname	O und Null, Blendung, abgeschnittene Zeichenfolgen.
Screenshot	Text, Begrenzungsbereich und Leserichtung	Dünne Schriftarten, überlappende Bereiche und kleine UI-Beschriftungen.
Kassenbon	Gesamtbetrag, Datum und Währung als separate Felder	Verwechselte Zwischensummen, falsches Dezimaltrennzeichen oder fehlende Einzelposten.
Gemischte Szene	Ob jedes Objekt seiner Region zugeordnet ist	Doppelte Beschriftungen, übersehene kleine Objekte oder erfundener Kontext.

Teste ein leeres Bild, ein Bild ohne relevantes Feld und einen unleserlichen Ausschnitt. Ein brauchbarer Extraktionsablauf benötigt einen expliziten unbekannten oder leeren Zustand. Wenn der nächste Schritt einen Inventareintrag ändert, leite ein fehlendes oder unsicheres Feld zur Überprüfung weiter, statt zu raten.

Wie viel Speicher und welche Latenz sind zu erwarten?

Die angegebenen 22 MB beziehen sich auf die Zwei-Bit-Modellrepräsentation. Der Laufzeitspeicherbedarf umfasst die Inferenz-Engine, die dekodierte Eingabe, Zwischentensoren und den Anwendungs-Overhead. Die Bildabmessungen können sich auf die Vorverarbeitung und die Speicherbelastung auswirken, auch wenn die Modelldatei gleich bleibt. Berücksichtige bei der Entscheidung, was neben deinen anderen Diensten laufen kann, neben der Modellgröße auch den Spitzenwert des Prozessspeicherbedarfs.

Miss die Kaltstart-, Warm-Inferenz- und End-to-End-Latenz einschließlich Bilddekodierung und Nachverarbeitung. Ein Benchmark für die NPU eines Smartphones kann nicht beantworten, wie lange ein NAS oder eine stromsparende x86-CPU benötigt. Prüfe in der Laufzeitübersicht, ob dein Betriebssystem und Gerät unterstützt werden, und miss dann mit denselben Bildern und demselben Code, die du bereitstellen willst.

Wie bleiben die Ausgaben nützlich und die Eingaben privat?

Trenne Erkennung und Aktionen voneinander. Speichere Felder mit einem Verweis auf den Quellausschnitt und einem Validierungsstatus. Wende nach Möglichkeit deterministische Prüfungen an: erwartete Seriennummernlänge, zulässige Zeichen, Datumsformat oder Mengenbereich. Zeige den Ausschnitt neben dem vorgeschlagenen Feld an, wenn eine prüfende Person es korrigieren muss. So bleibt der Weg zurück zu den tatsächlichen Belegen offen.

Ein lokaler Modellendpunkt kann die Notwendigkeit verringern, Quellbilder zu übertragen. Browsercode, Telemetrie, Cache-Verhalten und andere Komponenten sollten dennoch überprüft werden. Ein Modell mit visueller Schlussfolgerungsfähigkeit kann Text im Bild als Inhalt interpretieren. Lass diesen Text nicht zu einer Anweisung für Shell- oder Dateioperationen werden. Siehe den Leitfaden dazu, Quelldaten aus KI-Anfragen herauszuhalten.

Welche Rolle spielt ein Homeserver?

Bewahre Originaldateien in einer klar abgegrenzten Bibliothek auf und übermittle dem Inferenzprozess für jede Aufgabe nur das benötigte Bild. Lege die Ausgaben zur Überprüfung in einem separaten Ordner oder einer Datenbank ab. Führe auf einem gemeinsam genutzten Server zunächst einen kleinen Stapel aus und prüfe, ob Erkennungsaufträge Backups, Dateiindizierung oder andere Nutzer beeinträchtigen. Der Vergleich von privater Dateiverarbeitung und -speicherung und der Leitfaden zur Backup-Isolierung erläutern die möglichen Rollen dieser Dienste.

FAQ

Funktioniert der erste Start vollständig offline?

Das Paket kann die Engine und die Gewichte bei der ersten Verwendung herunterladen. Prüfe nach der Installation und dem Zwischenspeichern der benötigten Dateien, ob der Betrieb offline funktioniert.

Beträgt der Speicherbedarf 22 MB?

Die Angabe beschreibt das beworbene komprimierte Modell, während der gesamte Prozessspeicher auch die Laufzeitumgebung und Bildpuffer umfasst.

Kann Mirage alle Belege und Etiketten lesen?

Teste die Sprachen, Lichtverhältnisse, Schriftarten und Layouts, denen du tatsächlich begegnest. Bei kleinem oder reflektierendem Text können falsche oder unvollständige Ergebnisse entstehen.

Kann ich auf eine manuelle Überprüfung verzichten?

Lass Ausgaben überprüfen, die Datensätze ändern oder Aktionen auslösen, insbesondere wenn Felder unsicher sind oder sich nicht validieren lassen.

Kann ich anhand des Smartphone-Benchmarks einen Homeserver auswählen?

Nutze es als Beispiel für das getestete Smartphone. Führe Benchmarks mit deinen tatsächlichen Bildern auf der vorgesehenen Hardware und Laufzeitumgebung durch.

Fazit

Mirage erleichtert den Einstieg in ein kleines lokales OCR- und Bildverständnis-Experiment. Installiere die unterstützte Laufzeitumgebung, teste exakte Felder anhand einiger anspruchsvoller Bilder und behalte einen Prüfprozess bei. Weite den Einsatz erst auf größere Mengen aus, wenn Messwerte und Fehlerbehandlung für den jeweiligen Zweck gut genug sind.