Como é que a resolução do OCR afeta o tamanho do índice RAG?
A resolução do OCR afeta indiretamente o tamanho do índice RAG através da taxa de reconhecimento, do ruído, do resultado do esquema de layout e das imagens retidas, e não apenas através dos DPI.
Digitalizar um arquivo familiar a 600 DPI produz quatro vezes mais píxeis do que a 300 DPI para as mesmas dimensões de página, mas um índice vetorial apenas de texto não armazena esses píxeis. O seu tamanho depende dos caracteres, objetos de layout, blocos, metadados e embeddings gerados após o OCR. Uma resolução mais elevada pode recuperar mais texto real, enquanto imagens muito deficientes podem gerar tokens ruidosos que também aumentam o índice sem melhorar as respostas.
A Contagem de Píxeis Aumenta Antes de o Texto Entrar no Índice
Duplicar a resolução linear quadruplica os píxeis da imagem, aumentando a descodificação, o pré-processamento, o armazenamento temporário e o trabalho de OCR. Se o pipeline retiver imagens de páginas, recortes ou miniaturas junto dos vetores, esses recursos podem dominar o armazenamento; um índice apenas de texto geralmente descarta o raster após a extração.
As orientações sobre a qualidade do reconhecimento do Tesseract referem que o reconhecimento geralmente beneficia de imagens com cerca de 300 DPI e que o redimensionamento pode ajudar entradas de menor resolução. Trata-se de uma recomendação relativa à qualidade do reconhecimento, não de uma regra segundo a qual uma base de dados de embeddings armazena píxeis a 300 DPI.
O limite de armazenamento deve, por isso, ser explícito: os ficheiros de origem, os derivados de OCR, os blocos de texto, os conteúdos vetoriais e as miniaturas são camadas distintas. Alterar os DPI pode afetar cada camada de forma diferente, mesmo quando o número final de documentos não se altera.
A Taxa de Reconhecimento Altera as Contagens de Tokens e Blocos
Uma digitalização mais nítida pode recuperar notas de rodapé, pequenas etiquetas, células de tabelas e pontuação que uma resolução inferior não deteta. Mais texto válido aumenta o número de tokens e pode criar blocos e vetores adicionais. Por outro lado, glifos danificados e lixo repetido podem aumentar os tokens, porque os tokenizadores dividem as cadeias corrompidas de forma ineficiente.
A investigação sobre OCR de baixa resolução avalia o reconhecimento a partir de documentos de resolução ultrabaixa e explica por que razão os sistemas concebidos para texto a 300 DPI se comportam de forma diferente após a redução e ampliação. Os resultados demonstram que a resolução e a escala dos caracteres afetam o conteúdo extraído, e não apenas o tamanho visual do ficheiro.
O OCR consciente do layout pode adicionar coordenadas, ordem de leitura, confiança e estrutura de tabelas. Esses conteúdos podem exceder o próprio texto simples, pelo que as mesmas palavras reconhecidas podem produzir tamanhos de índice diferentes, dependendo de a evidência espacial ser retida para citações.
Os DPI Mais Elevados Deixam de Ajudar Quando o Detalhe dos Glifos Satura
Quando os traços dos caracteres estão suficientemente bem definidos para o modelo de OCR, mais píxeis podem aumentar o processamento e o tamanho das imagens derivadas sem acrescentar texto. Os artefactos de compressão, a desfocagem, a inclinação, a escrita manual e os modelos de idioma incorretos podem continuar a ser os fatores limitativos com DPI elevados.
A otimização de imagens do OCRmyPDF descreve fases de otimização que podem recomprimir ou transformar imagens de páginas após o reconhecimento. Isto demonstra por que razão o tamanho de um PDF após o OCR depende da codificação da imagem e da política de otimização, e não simplesmente da resolução de digitalização usada na ingestão.
O limite de falha consiste em presumir que o crescimento do índice comprova um OCR melhor. Um índice pode crescer porque recuperou texto útil, duplicou blocos sobrepostos, reteve imagens maiores ou produziu ruído; apenas testes de reconhecimento com dados de referência e de recuperação permitem distinguir essas causas.
FAQ sobre a Resolução de OCR e o Armazenamento do Índice
600 DPI é sempre melhor do que 300 DPI para RAG?
Não. 600 DPI pode ajudar com texto muito pequeno ou formulários detalhados, mas frequentemente acrescenta processamento e armazenamento de imagens quando o texto impresso normal já está suficientemente definido. Teste a precisão dos caracteres e a recuperação, em vez de selecionar por defeito a definição mais elevada do scanner.
Os embeddings ficam maiores quando a resolução DPI da digitalização aumenta?
A dimensão do vetor geralmente mantém-se fixa para um determinado modelo de embeddings. O índice só aumenta se o OCR de maior resolução produzir mais blocos, mais metadados, embeddings adicionais de regiões ou derivados de imagens retidos. Este efeito deve continuar a ser mensurável na carga de trabalho prevista para o servidor doméstico.
Um OCR de baixa resolução pode tornar um índice maior?
Sim. Sequências de caracteres ilegíveis podem ser tokenizadas em muitos fragmentos e criar blocos ruidosos. Uma imagem de origem mais pequena pode, por isso, produzir mais tokens de texto do que uma digitalização limpa, ao mesmo tempo que gera uma recuperação e citações piores. Esta distinção é importante quando várias fases do pipeline partilham o mesmo orçamento de armazenamento e memória.
Meça o Armazenamento por Camada do Pipeline
Selecione páginas com texto normal, letra pequena, tabelas, escrita manual e digitalizações degradadas. Processe-as com várias resoluções efetivas, mantendo constantes o modelo de OCR, o idioma, a divisão em blocos, a dimensão dos embeddings e a política de retenção; em seguida, registe a precisão dos caracteres, a contagem de tokens, a contagem de blocos, os bytes dos vetores, os bytes dos metadados, os derivados, os picos temporários e a qualidade da recuperação.
Utilize as verificações da ordem de leitura em verificações da ordem de leitura quando existirem tabelas ou formulários. Atribua cada byte às imagens de origem, ao resultado do OCR, aos blocos, aos vetores ou às miniaturas, para que um diretório maior não seja incorretamente reportado como crescimento do índice vetorial.
Escolha a resolução mais baixa que cumpra os objetivos de reconhecimento e citação para cada classe de documento. Armazene as fontes de alta resolução apenas quando forem necessárias para um reprocessamento posterior e remova o OCR ruidoso ou os derivados redundantes antes de concluir que mais píxeis melhoram a base de conhecimento.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
As câmaras domésticas conseguem sincronizar eventos sem serviços de hora na nuvem?
Uma explicação baseada primeiro no mecanismo do tempo da câmara sem cloud, as suas contrapartidas na partilha de recursos, três perguntas frequentes sobre a...
Um serviço de IA local consegue detetar camadas de modelos corrompidas antes da inferência?
Uma explicação baseada primeiro no mecanismo da deteção de corrupção na camada do modelo, dos seus compromissos em termos de recursos partilhados, de três...
É possível restaurar um sistema RAG sem regenerar todos os embeddings?
Uma explicação, centrada no mecanismo, do restauro de RAG sem re-embedding, das suas contrapartidas em recursos partilhados, de três perguntas frequentes sobre a expansão...
