¿Cómo afecta la resolución del OCR al tamaño del índice RAG?
La resolución del OCR afecta indirectamente al tamaño del índice RAG a través del rendimiento del reconocimiento, el ruido, la salida del diseño y las imágenes conservadas, no solo a través de los PPP.
Escanear un archivo familiar a 600 PPP produce cuatro veces más píxeles que hacerlo a 300 PPP para las mismas dimensiones de página, pero un índice vectorial que solo contiene texto no almacena esos píxeles. Su tamaño depende de los caracteres, los objetos de diseño, los fragmentos, los metadatos y los embeddings generados después del OCR. Una mayor resolución puede recuperar más texto real, mientras que las imágenes de muy baja calidad pueden generar tokens ruidosos que también aumentan el índice sin mejorar las respuestas.
El recuento de píxeles aumenta antes de que el texto entre en el índice
Duplicar la resolución lineal cuadruplica los píxeles de la imagen, lo que aumenta la decodificación, el preprocesamiento, el almacenamiento temporal y el trabajo de OCR. Si el flujo de trabajo conserva imágenes de página, recortes o miniaturas junto a los vectores, esos recursos pueden dominar el almacenamiento; un índice que solo contiene texto descarta en gran medida el ráster después de la extracción.
Las recomendaciones sobre la calidad del reconocimiento de Tesseract señalan que el reconocimiento generalmente se beneficia de imágenes de alrededor de 300 PPP y que cambiar la escala puede ayudar con entradas de menor resolución. Se trata de una recomendación sobre la calidad del reconocimiento, no de una regla que indique que una base de datos de embeddings almacena píxeles a 300 PPP.
Por tanto, el límite de almacenamiento debe definirse explícitamente: los archivos de origen, los derivados del OCR, los fragmentos de texto, las cargas útiles vectoriales y las miniaturas son capas independientes. Cambiar los PPP puede afectar a cada capa de manera distinta aunque el número final de documentos no cambie.
El rendimiento del reconocimiento cambia el recuento de tokens y fragmentos
Un escaneo más nítido puede recuperar notas al pie, etiquetas pequeñas, celdas de tablas y signos de puntuación que una resolución menor omite. Un mayor volumen de texto válido aumenta los tokens y puede crear fragmentos y vectores adicionales. Por el contrario, los glifos dañados y la basura repetida pueden aumentar los tokens porque los tokenizadores dividen las cadenas corruptas de manera ineficiente.
La investigación sobre el OCR de baja resolución evalúa el reconocimiento a partir de documentos de resolución ultrabaja y explica por qué los sistemas diseñados para texto a 300 PPP se comportan de manera diferente después de reducir y ampliar la escala. Los resultados demuestran que la resolución y la escala de los caracteres afectan al contenido extraído, no solo al tamaño visual del archivo.
El OCR consciente del diseño puede añadir coordenadas, orden de lectura, confianza y estructura de tablas. Esas cargas útiles pueden superar al texto plano, por lo que las mismas palabras reconocidas pueden producir índices de distinto tamaño según se conserve o no la evidencia espacial para las citas.
Una mayor resolución deja de ayudar cuando se satura el detalle de los glifos
Una vez que los trazos de los caracteres se resuelven lo suficientemente bien para el modelo de OCR, más píxeles pueden aumentar el procesamiento y el tamaño de las imágenes derivadas sin añadir texto. Los artefactos de compresión, el desenfoque, la inclinación, la escritura a mano y los modelos de idioma incorrectos pueden seguir siendo los factores limitantes con resoluciones altas.
La optimización de imágenes de OCR de OCRmyPDF describe etapas de optimización que pueden volver a comprimir o transformar las imágenes de página después del reconocimiento. Esto ilustra por qué el tamaño de un PDF después del OCR depende de la codificación de las imágenes y de la política de optimización, no simplemente de la resolución de escaneo utilizada durante la ingesta.
El error está en asumir que el crecimiento del índice demuestra que el OCR ha mejorado. Un índice puede crecer porque recuperó texto útil, duplicó fragmentos superpuestos, conservó imágenes más grandes o produjo ruido; solo las pruebas de reconocimiento con datos de referencia y de recuperación permiten distinguir esas causas.
Preguntas frecuentes sobre la resolución del OCR y el almacenamiento del índice
¿600 PPP siempre es mejor que 300 PPP para RAG?
No. 600 PPP puede ayudar con texto muy pequeño o formularios detallados, pero a menudo añade procesamiento y almacenamiento de imágenes cuando el texto impreso normal ya se ha resuelto. Prueba la precisión de los caracteres y la recuperación en lugar de seleccionar por defecto la configuración más alta del escáner.
¿Los embeddings se vuelven más grandes cuando aumenta la resolución PPP del escaneo?
La dimensión vectorial normalmente permanece fija para un modelo de embeddings determinado. El índice solo crece si el OCR de mayor resolución produce más fragmentos, más metadatos, embeddings de regiones adicionales o derivados de imágenes conservados. Este efecto debe seguir siendo medible con la carga de trabajo prevista en el servidor doméstico.
¿El OCR de baja resolución puede hacer que un índice sea más grande?
Sí. Las secuencias de caracteres ilegibles pueden dividirse en muchos fragmentos y crear fragmentos ruidosos. Por tanto, una imagen de origen más pequeña puede producir más tokens de texto que un escaneo limpio y, al mismo tiempo, ofrecer una recuperación y unas citas peores. La distinción es importante cuando varias etapas del flujo de trabajo comparten el mismo presupuesto de almacenamiento y memoria.
Mide el almacenamiento por capa del flujo de trabajo
Selecciona páginas con texto normal, letra pequeña, tablas, escritura a mano y escaneos degradados. Procésalas con varias resoluciones efectivas manteniendo constantes el modelo de OCR, el idioma, la división en fragmentos, la dimensión de los embeddings y la política de conservación; después registra la precisión de los caracteres, el recuento de tokens, el recuento de fragmentos, los bytes de los vectores, los bytes de los metadatos, los derivados, los picos temporales y la calidad de recuperación.
Usa las comprobaciones del orden de lectura de las comprobaciones del orden de lectura cuando haya tablas o formularios. Atribuye cada byte a las imágenes de origen, la salida del OCR, los fragmentos, los vectores o las miniaturas para no informar erróneamente de que un directorio más grande representa un crecimiento del índice vectorial.
Elige la resolución más baja que cumpla los objetivos de reconocimiento y citación para cada clase de documento. Conserva los originales de alta resolución solo cuando se necesiten para reprocesarlos posteriormente y elimina el OCR ruidoso o los derivados redundantes antes de concluir que más píxeles mejoran la base de conocimientos.
Productos recomendados
Centro de Tecnología e IA
Más para leer
¿Puede un LLM local reanudar la generación después de que se reinicie su proceso?
Una explicación de la reanudación de la generación de LLM desde el mecanismo, sus concesiones en recursos compartidos, tres preguntas frecuentes sobre la ramificación...
¿Puede un servidor doméstico ejecutar embeddings y transcodificación de vídeo en la misma GPU integrada?
Una explicación centrada en el mecanismo de las representaciones vectoriales compartidas de la iGPU y la transcodificación, sus ventajas y desventajas en cuanto a...
¿Cómo afecta la duración de los tokens de acceso a la seguridad y las molestias en el hogar?
Una explicación centrada en el mecanismo sobre la duración de los tokens de acceso, sus ventajas y desventajas respecto a los recursos compartidos, tres...
