Exécutez Mirage localement : OCR et détection d’objets à partir d’une seule image

Mirage de Cactus Compute peut examiner une image locale et renvoyer du texte, l’emplacement des objets et des champs structurés. Le modèle deux bits du développeur, d’environ 22 Mo, est assez petit pour être testé sans télécharger un point de contrôle de vision de plusieurs gigaoctets. Commencez par une étiquette d’appareil ou une capture d’écran nette, puis comparez les champs renvoyés à l’image d’origine avant d’automatiser un flux de travail.

La présentation officielle décrit un modèle de vision de 51,3 millions de paramètres, une démo locale dans le navigateur et un runtime installable. Elle indique un temps de 74 ms avec une configuration NPU du Samsung Galaxy S26 et de 107 ms sur le processeur de ce téléphone. Ces temps correspondent à cette configuration. Vérifiez les performances et la précision avec votre propre appareil et vos propres entrées.

À quelles tâches ce modèle est-il adapté ?

Mirage peut décrire des scènes, détecter des objets, lire du texte, renvoyer des masques et répondre à des questions à réponse limitée. Pour une tâche d’inventaire, vous pouvez lui demander d’identifier une étiquette, d’extraire la zone de texte et de renvoyer un nombre limité de champs. Pour des photos, vous pouvez utiliser l’emplacement des objets comme indication à l’intention d’un évaluateur humain. Une réponse structurée est utile lorsqu’elle conserve un lien vers les éléments visuels de l’image.

Le développeur indique que les descriptions d’images sont disponibles dans sept langues. Ne présumez pas que toutes les écritures OCR sont prises en charge pour autant. Le lecteur de texte peut manquer un accent, confondre des chiffres similaires ou omettre une petite zone. Cactus montre lui-même un résultat OCR imparfait dans la démo de lancement. La fiche du modèle contient des liens vers la configuration requise pour le runtime et des exemples d’entrées.

Comment lancer le premier exemple en local ?

Essayez le bac à sable dans le navigateur proposé par Cactus avec une image de test ne contenant aucune donnée sensible. Utilisez ensuite le package Python sur une plateforme prise en charge par le runtime Cactus. Utilisez un environnement vierge et une image que vous contrôlez.

python -m venv .venv
source .venv/bin/activate
python -m pip install -U cactus-compute

L’exemple publié pour le package est :

importer cactus

model = cactus.Mirage()
print(model.describe("photo.png"))

Lors de la première utilisation, le paquet peut télécharger et mettre en cache le moteur et le modèle. Mesurez séparément le temps nécessaire à cette configuration et celui de l’inférence. Pour vérifier que le processus fonctionnera ensuite hors ligne, terminez l’installation initiale, puis testez-le sur un fichier local dans un environnement isolé, avec le réseau désactivé. Vérifiez la version de l’environnement d’exécution et le comportement du cache au lieu de les déduire du nom du paquet.

Comment créer un petit test de précision ?

Prenez trois photos de la même étiquette : l’une bien éclairée et prise de face, l’autre pivotée ou réfléchissante, et la troisième avec une autre étiquette à proximité. Gardez une transcription de référence. Comparez les caractères exacts et l’association des champs, pas seulement la présence d’une chaîne plausible dans le résultat. Pour la détection d’objets, vérifiez les cadres. Une étiquette correcte associée au mauvais objet peut fausser une fiche d’inventaire en aval.

Testez une image vierge, une image sans champ pertinent et un recadrage illisible. Un processus d’extraction fiable doit prévoir explicitement un état « inconnu » ou vide. Si l’étape suivante modifie une fiche d’inventaire, placez tout champ manquant ou incertain dans une file de vérification au lieu de deviner.

À quelle consommation mémoire et à quelle latence faut-il s’attendre ?

Les 22 Mo annoncés correspondent à la représentation du modèle sur deux bits. La mémoire utilisée à l’exécution comprend le moteur d’inférence, l’image d’entrée décodée, les tenseurs intermédiaires et la surcharge de l’application. Les dimensions de l’image peuvent influer sur le prétraitement et la pression sur la mémoire, même si le fichier du modèle reste identique. Pour déterminer ce qui peut fonctionner en parallèle avec vos autres services, suivez le pic de mémoire du processus en plus de la taille du modèle.

Mesurez le temps de démarrage à froid, le temps d’inférence à chaud et la latence de bout en bout, décodage de l’image et post-traitement compris. Un benchmark du NPU d’un téléphone ne permet pas de savoir combien de temps cela prendra sur un NAS ou un processeur x86 basse consommation. Vérifiez que votre système d’exploitation et votre appareil sont pris en charge dans la liste des environnements d’exécution, puis mesurez les performances avec les mêmes images et le même code que ceux que vous comptez déployer.

Comment obtenir des résultats utiles tout en préservant la confidentialité des données d’entrée ?

Séparez la reconnaissance de l’action. Enregistrez les champs avec une référence au recadrage source et un état de validation. Appliquez des contrôles déterministes lorsque c’est possible : longueur attendue du numéro de série, caractères autorisés, analyse de la date ou plage de quantité. Affichez le recadrage à côté du champ proposé pour permettre à la personne chargée de la vérification de le corriger. Vous gardez ainsi la possibilité de revenir à la preuve réelle.

Un point de terminaison de modèle local peut réduire la nécessité de transférer les images sources, mais le code du navigateur, la télémétrie, le comportement du cache et les autres composants méritent tout de même d’être vérifiés. Un modèle doté de capacités de raisonnement visuel peut interpréter le texte figurant dans l’image comme du contenu. Ne laissez pas ce texte devenir une instruction destinée à un shell ou à une opération sur des fichiers. Consultez le guide pour éviter d’inclure des données sources dans les requêtes adressées à l’IA.

Quelle est la place d’un serveur domestique ?

Conservez les fichiers originaux dans une bibliothèque à accès restreint et n’envoyez au processus d’inférence que l’image nécessaire à chaque tâche. Placez les résultats dans un dossier ou une base de données distincts pour les vérifier. Sur un serveur partagé, commencez par un petit lot et vérifiez si les tâches de reconnaissance perturbent les sauvegardes, l’indexation des fichiers ou les autres utilisateurs. Le comparatif sur le calcul et le stockage de fichiers privés et le guide sur l’isolation des sauvegardes expliquent le rôle que ces services peuvent jouer.

FAQ

La première exécution fonctionne-t-elle entièrement hors ligne ?

Le package peut télécharger le moteur et les poids lors de la première utilisation. Après avoir installé et mis en cache les fichiers requis, vérifiez le fonctionnement hors ligne.

22 Mo, est-ce la consommation mémoire ?

Cela décrit le modèle compressé annoncé, tandis que la mémoire totale du processus inclut l’environnement d’exécution et les tampons d’image.

Mirage peut-il lire tous les reçus et toutes les étiquettes ?

Testez les langues, l’éclairage, les polices et les mises en page que vous rencontrez réellement. Les petits textes ou les surfaces réfléchissantes peuvent produire des résultats erronés ou incomplets.

Puis-je éviter la vérification manuelle ?

Prévoyez une vérification pour les résultats qui modifient des enregistrements ou déclenchent des actions, surtout lorsque certains champs sont incertains ou impossibles à valider.

Puis-je utiliser le benchmark du téléphone pour choisir un serveur domestique ?

Utilisez-le comme exemple sur le téléphone testé. Évaluez le matériel et l’environnement d’exécution prévus avec vos propres images.

Conclusion

Mirage permet de démarrer facilement une petite expérimentation locale de reconnaissance optique de caractères et de compréhension d’images. Installez l’environnement d’exécution pris en charge, testez des champs précis sur quelques images difficiles et prévoyez une étape de vérification. Ne passez à des lots plus importants que lorsque les mesures et la gestion des erreurs sont suffisamment fiables pour la tâche.