Execute o Mirage localmente: OCR e deteção de objetos a partir de uma imagem

O Mirage da Cactus Compute pode analisar uma imagem local e devolver texto, localizações de objetos e campos estruturados. O modelo de dois bits do programador, com cerca de 22 MB, é suficientemente pequeno para experimentar sem descarregar um checkpoint de visão de vários gigabytes. Comece com a etiqueta de um dispositivo ou uma captura de ecrã nítida e compare os campos devolvidos com a imagem original antes de automatizar um fluxo de trabalho.

O lançamento oficial descreve um modelo de visão com 51,3 milhões de parâmetros, uma demonstração local no browser e um runtime instalável. Indica 74 ms numa configuração do NPU do Samsung Galaxy S26 e 107 ms no CPU desse telemóvel. Esses tempos dizem respeito a essa configuração. Teste o desempenho e a precisão no seu próprio dispositivo e com as suas próprias entradas.

Que tarefas são adequadas a este modelo?

O Mirage pode descrever cenas, detetar objetos, ler texto, devolver máscaras e responder a perguntas específicas. Numa tarefa de inventário, pode pedir-lhe que identifique uma etiqueta, extraia a região de texto e devolva um conjunto limitado de campos. Em fotografias, pode usar as localizações dos objetos como pistas para uma pessoa que as reveja. Uma resposta estruturada é útil quando mantém uma ligação às provas na imagem.

O programador lista sete idiomas para descrições de imagens. Não assuma que a lista implica suporte a todos os sistemas de escrita usados em OCR. O leitor de texto pode não reconhecer um acento, confundir algarismos semelhantes ou omitir uma região pequena. A própria Cactus mostra um resultado de OCR imperfeito na demonstração de lançamento. O cartão do modelo inclui ligações para os requisitos de runtime e exemplos de entrada.

Como executar o primeiro exemplo local?

Experimente o ambiente de testes no browser ligado ao Cactus com uma imagem de teste que não contenha dados sensíveis. Depois, use o pacote Python numa plataforma compatível com o runtime do Cactus. Use um ambiente novo e uma imagem que seja sua.

python -m venv .venv
source .venv/bin/activate
python -m pip install -U cactus-compute

O exemplo publicado do pacote é:

import cactus

model = cactus.Mirage()
print(model.describe("photo.png"))

Na primeira utilização, o pacote pode transferir e colocar em cache o motor e o modelo. Cronometre essa configuração separadamente da inferência. Para confirmar que o fluxo de trabalho pode funcionar offline mais tarde, conclua a instalação inicial e, em seguida, teste com um ficheiro local e a rede desativada num ambiente isolado. Verifique a versão do ambiente de execução e o comportamento da cache, em vez de os deduzir pelo nome do pacote.

Como deve criar um pequeno teste de precisão?

Tire três imagens da mesma etiqueta: uma com iluminação uniforme e tirada de frente, outra rodada ou com reflexos e uma terceira com outra etiqueta por perto. Guarde uma transcrição de referência. Compare os caracteres exatos e as associações entre campos, não apenas se o resultado contém uma cadeia de texto plausível. Na deteção de objetos, inspecione as caixas. Uma etiqueta correta associada ao objeto errado pode comprometer um registo de inventário a jusante.

Teste uma imagem em branco, uma imagem sem o campo relevante e um recorte ilegível. Um fluxo de extração utilizável precisa de um estado explícito de desconhecido ou vazio. Se a etapa seguinte alterar um registo de inventário, trate um campo em falta ou incerto como uma entrada para revisão, em vez de adivinhar.

Que quantidade de memória e que latência pode esperar?

Os 22 MB anunciados referem-se à representação do modelo em dois bits. A memória em tempo de execução inclui o motor de inferência, a entrada descodificada, os tensores intermédios e a sobrecarga da aplicação. As dimensões da imagem podem afetar o pré-processamento e a pressão sobre a memória, mesmo que o ficheiro do modelo se mantenha igual. Acompanhe o pico de memória do processo, além do tamanho do modelo, para decidir o que pode executar em simultâneo com os outros serviços.

Meça o arranque a frio, a inferência a quente e a latência de ponta a ponta, incluindo a descodificação da imagem e o pós-processamento. Um benchmark da NPU de um telemóvel não permite saber quanto tempo demorará num NAS ou numa CPU x86 de baixo consumo. Confirme a compatibilidade com o seu sistema operativo e dispositivo na lista de ambientes de execução e, em seguida, faça medições com as mesmas imagens e o mesmo código que tenciona disponibilizar.

Como manter os resultados úteis e a entrada privada?

Separe o reconhecimento da ação. Guarde os campos com uma referência ao recorte de origem e um estado de validação. Sempre que possível, aplique verificações determinísticas: comprimento esperado do número de série, caracteres permitidos, análise da data ou intervalo da quantidade. Quando um revisor precisar de corrigir o campo, mostre o recorte ao lado do valor proposto. Assim, mantém-se uma ligação às provas efetivas.

Um endpoint de modelo local pode reduzir a necessidade de transferir imagens de origem, mas o código do browser, a telemetria, o comportamento da cache e outros componentes também devem ser verificados. Um modelo com raciocínio visual pode interpretar texto na imagem como conteúdo. Não deixe que esse texto se transforme numa instrução para executar comandos na shell ou operações de ficheiros. Consulte o guia para manter os dados de origem fora dos pedidos de IA.

Que papel tem um servidor doméstico?

Mantenha os ficheiros originais numa biblioteca com âmbito definido e envie ao processo de inferência apenas a imagem necessária para cada tarefa. Coloque os resultados numa pasta ou base de dados separada para revisão. Num servidor partilhado, comece com um lote pequeno e verifique se os trabalhos de reconhecimento interferem com as cópias de segurança, a indexação de ficheiros ou os outros utilizadores. A comparação entre computação e armazenamento de ficheiros privados e o guia de isolamento das cópias de segurança explicam as funções que esses serviços podem desempenhar.

Perguntas frequentes

A primeira execução funciona totalmente offline?

O pacote pode transferir o motor e os pesos na primeira utilização. Depois de instalar e guardar em cache os ficheiros necessários, confirme o funcionamento offline.

22 MB é o consumo de memória?

Descreve o modelo comprimido anunciado, enquanto a memória total do processo inclui o ambiente de execução e os buffers de imagem.

O Mirage consegue ler todos os recibos e etiquetas?

Teste os idiomas, a iluminação, os tipos de letra e os layouts que encontra na realidade. Texto pequeno ou refletor pode gerar resultados incorretos ou incompletos.

Posso dispensar a revisão manual?

Utilize a revisão para resultados que alterem registos ou desencadeiem ações, especialmente quando os campos forem incertos ou não puderem ser validados.

Posso usar o teste de desempenho do telemóvel para escolher um servidor doméstico?

Use-o como exemplo para o telemóvel testado. Avalie o hardware e o ambiente de execução pretendidos com as suas imagens reais.

Conclusão

O Mirage facilita o início de uma experiência local de OCR e compreensão de imagens. Instale o ambiente de execução compatível, teste campos exatos em algumas imagens desafiantes e mantenha uma etapa de revisão. Só avance para lotes maiores quando as medições e o tratamento de erros forem adequados à tarefa.