Mirageをローカルで実行：1枚の画像から文字認識と物体検出

Eva Wong

IceWhale author

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイドにまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

Run Mirage Locally: OCR and Object Detection from One Image - Zima Store Online

Cactus ComputeのMirageは、ローカル画像を解析し、テキスト、物体の位置、構造化された項目を返します。開発元の約22 MBの2ビットモデルなら、数GBのビジョンチェックポイントをダウンロードせずに試せます。まずはデバイスのラベルや鮮明なスクリーンショットを使い、自動化する前に、返された項目を元の画像と照合してください。

公式リリースでは、5,130万パラメーターのビジョンモデル、ローカルのブラウザーデモ、インストール可能なランタイムが紹介されています。Samsung Galaxy S26の特定のNPU構成では74ミリ秒、同機種のCPUでは107ミリ秒と報告されています。これらの処理時間は、その構成における値です。性能と精度は、ご自身のデバイスと入力データで確認してください。

このモデルに適したタスクは？

Mirageは、シーンの説明、物体の検出、文字の読み取り、マスクの返却、条件を絞った質問への回答ができます。在庫管理では、ラベルの特定、文字領域の抽出、限定した項目の返却を指示できます。写真の場合は、物体の位置を人間の確認担当者への手がかりとして使えます。構造化された回答が画像内の根拠へのリンクを保持していれば便利です。

開発元は、画像の説明に対応する言語を7つ挙げています。その一覧を見て、あらゆるOCR文字体系に対応していると考えないでください。実際の文字認識では、アクセント記号を見落としたり、よく似た数字を取り違えたり、小さな領域を読み飛ばしたりすることがあります。Cactus自身もリリースデモで、完璧ではないOCR結果を示しています。モデルカードには、ランタイム要件と入力例へのリンクがあります。

Cactus Computeが公開しているMirageの概要。OCR、マスク、シーン抽出を紹介しています。元のソース

最初のローカル実行例を試すには？

Cactusがリンクしているブラウザーサンドボックスで、機密情報を含まないテスト画像を試してみましょう。その後、CactusランタイムがサポートするプラットフォームでPythonパッケージを使います。新しい環境を用意し、自分が管理する画像を使ってください。

python -m venv .venv
ソース .venv/bin/activate
python -m pip install -U cactus-compute

パッケージで公開されている使用例は次のとおりです。

インポート cactus

model = cactus.Mirage()
print(model.describe("photo.png"))

初回使用時に、パッケージがエンジンとモデルをダウンロードしてキャッシュすることがあります。このセットアップ時間は推論時間とは分けて計測しましょう。その後オフラインで使えることを確認するには、初期インストールを完了してから、隔離環境でネットワークを無効にし、ローカルファイルを使ってテストします。パッケージ名から推測するのではなく、ランタイムのバージョンとキャッシュの動作を確認しましょう。

小規模な精度テストを作成するには？

同じラベルを3枚撮影します。均一な明るさで正面から撮ったもの、回転させたものまたは反射のあるもの、別のラベルが近くにあるものを用意します。正解の書き起こしも用意しておきましょう。もっともらしい文字列が出力に含まれているかだけでなく、文字が正確か、各フィールドとの対応が正しいかを比較します。物体検出では、バウンディングボックスを確認しましょう。ラベル自体が正しくても、別の物体に紐付いていると、後続の在庫記録に支障をきたすことがあります。

入力	有効なチェック方法	よくある要確認の失敗
デバイスラベル	正確なシリアル番号とモデル名	Oと0の取り違え、反射光、文字列の途中での切れ。
スクリーンショット	テキスト、バウンディング領域、読み取り順序	細いフォント、重なり合うパネル、小さなUIラベル。
レシート	合計、日付、通貨を個別のフィールドとして抽出	小計の混同、小数点記号の誤り、または明細項目の欠落。
複数の要素が混在するシーン	各物体が対応する領域と一致しているか	ラベルの重複、小さな物体の見落とし、または文脈の捏造。

白紙、該当する項目がない画像、読み取れない切り抜きをテストしましょう。実用的な抽出フローには、明示的な「不明」または空の状態が必要です。次の処理で在庫記録が変更される場合、欠落または不確かな項目を推測で埋めず、確認待ちの項目として扱いましょう。

必要なメモリ容量とレイテンシの目安は？

公称22 MBというサイズは、2ビットのモデル表現を指します。実行時のメモリ使用量には、推論エンジン、デコード済み入力、中間テンソル、アプリケーションのオーバーヘッドが含まれます。モデルファイルのサイズが変わらなくても、画像の寸法によって前処理やメモリへの負荷が変わることがあります。他のサービスと並行して何を実行できるかを判断する際は、モデルサイズとともにプロセスのピークメモリ使用量も記録しましょう。

コールドスタート、ウォーム推論、画像のデコードと後処理を含むエンドツーエンドのレイテンシを測定しましょう。スマートフォンのNPUベンチマークでは、NASや低消費電力のx86 CPUでどれくらい時間がかかるかはわかりません。ランタイム一覧で、お使いのOSとデバイスがサポートされていることを確認してから、実際に使用する予定の画像とコードで測定しましょう。

出力の有用性を保ちながら、入力を非公開にするにはどうすればよいですか？

認識とアクションは分けてください。フィールドは元画像の切り抜きへの参照と検証状態を添えて保存します。可能な場合は、想定されるシリアル番号の長さ、使用可能な文字、日付の解析、数量の範囲など、決定的なチェックを適用してください。確認担当者が修正する必要がある場合は、提案されたフィールドの横に切り抜きを表示します。これにより、実際の根拠にさかのぼって確認できます。

ローカルモデルのエンドポイントを使えば、元画像を転送する必要性を減らせますが、ブラウザーのコード、テレメトリー、キャッシュの動作、その他のコンポーネントも確認する必要があります。視覚的推論ができるモデルは、画像内のテキストを内容として解釈できます。そのテキストをシェルやファイル操作への指示として実行させないでください。ソースデータをAIリクエストに含めないためのガイドをご覧ください。

ホームサーバーはどのように活用できますか？

元のファイルは対象を限定したライブラリに保存し、各タスクに必要な画像だけを推論プロセスに送ってください。出力は確認用の別フォルダーまたはデータベースに保存します。共有サーバーでは、まず少量のバッチを実行し、認識ジョブがバックアップ、ファイルのインデックス作成、他のユーザーの作業に支障をきたさないか確認してください。プライベートファイル向けのコンピューティングとストレージの比較とバックアップ分離ガイドでは、これらのサービスが果たす役割について説明しています。