In che modo la risoluzione OCR influisce sulle dimensioni dell’indice RAG?
La risoluzione OCR influisce indirettamente sulle dimensioni dell'indice RAG attraverso la resa del riconoscimento, il rumore, l'output del layout e le immagini conservate, non attraverso i soli DPI.
La scansione di un archivio familiare a 600 DPI produce quattro volte più pixel rispetto a 300 DPI per le stesse dimensioni della pagina, ma un indice vettoriale basato solo sul testo non conserva quei pixel. Le sue dimensioni dipendono dai caratteri, dagli oggetti del layout, dai chunk, dai metadati e dagli embedding prodotti dopo l'OCR. Una risoluzione maggiore può recuperare più testo reale, mentre immagini molto scadenti possono generare token rumorosi che ampliano comunque l'indice senza migliorare le risposte.
Il numero di pixel aumenta prima che il testo entri nell'indice
Raddoppiare la risoluzione lineare quadruplica i pixel dell'immagine, aumentando decodifica, preelaborazione, spazio di archiviazione temporaneo e lavoro OCR. Se la pipeline conserva immagini delle pagine, ritagli o miniature insieme ai vettori, queste risorse possono dominare lo spazio di archiviazione; un indice basato solo sul testo scarta per lo più la rasterizzazione dopo l'estrazione.
Le indicazioni sulla qualità del riconoscimento di Tesseract osservano che il riconoscimento generalmente trae vantaggio da immagini intorno ai 300 DPI e che il ridimensionamento può aiutare gli input a bassa risoluzione. Si tratta di una raccomandazione sulla qualità del riconoscimento, non di una regola secondo cui un database di embedding conserva pixel a 300 DPI.
Il confine di archiviazione deve quindi essere esplicito: file sorgente, derivati OCR, chunk di testo, payload vettoriali e miniature sono livelli separati. La modifica dei DPI può influire diversamente su ciascun livello, anche quando il numero finale di documenti rimane invariato.
La resa del riconoscimento modifica il numero di token e chunk
Una scansione più nitida può recuperare note a piè di pagina, etichette di piccole dimensioni, celle delle tabelle e punteggiatura che una risoluzione inferiore non rileva. Una maggiore quantità di testo valido aumenta i token e può creare chunk e vettori aggiuntivi. Al contrario, glifi danneggiati e sequenze di caratteri spazzatura ripetute possono aumentare i token perché i tokenizer suddividono le stringhe corrotte in modo inefficiente.
La ricerca sull'OCR a bassa risoluzione valuta il riconoscimento da documenti a risoluzione estremamente bassa e spiega perché i sistemi progettati per testo a 300 DPI si comportano diversamente dopo il ridimensionamento e l'ingrandimento. I risultati dimostrano che la risoluzione e la scala dei caratteri influenzano il contenuto estratto, non solo le dimensioni visive del file.
L'OCR con consapevolezza del layout può aggiungere coordinate, ordine di lettura, livello di affidabilità e struttura delle tabelle. Questi payload possono superare il testo semplice, quindi le stesse parole riconosciute possono produrre dimensioni dell'indice diverse a seconda che le informazioni spaziali vengano conservate per le citazioni.
Una risoluzione DPI maggiore smette di essere utile quando il dettaglio dei glifi è sufficiente
Una volta che i tratti dei caratteri sono risolti abbastanza bene per il modello OCR, un numero maggiore di pixel può aumentare il carico di calcolo e le dimensioni delle immagini derivate senza aggiungere testo. Artefatti di compressione, sfocatura, inclinazione, scrittura a mano e modelli linguistici errati possono rimanere i fattori limitanti anche a DPI elevati.
L'ottimizzazione delle immagini OCR di OCRmyPDF descrive fasi di ottimizzazione che possono ricomprimere o trasformare le immagini delle pagine dopo il riconoscimento. Ciò illustra perché le dimensioni di un PDF dopo l'OCR dipendono dalla codifica delle immagini e dalla politica di ottimizzazione, non semplicemente dalla risoluzione di scansione usata durante l'acquisizione.
Il limite consiste nel presumere che la crescita dell'indice dimostri un OCR migliore. Un indice può crescere perché ha recuperato testo utile, duplicato chunk sovrapposti, conservato immagini più grandi o prodotto rumore; solo i test sul riconoscimento rispetto a dati verificati e sul recupero distinguono queste cause.
Domande frequenti sulla risoluzione OCR e sull'archiviazione dell'indice
600 DPI sono sempre meglio di 300 DPI per il RAG?
No. 600 DPI possono aiutare con caratteri molto piccoli o moduli dettagliati, ma spesso aumentano l'elaborazione e lo spazio per le immagini quando il testo stampato normale è già sufficientemente risolto. Verifica l'accuratezza dei caratteri e il recupero invece di selezionare per impostazione predefinita il valore più alto dello scanner.
Gli embedding diventano più grandi quando aumenta la risoluzione DPI della scansione?
La dimensione del vettore generalmente rimane fissa per un determinato modello di embedding. L'indice cresce solo se l'OCR a risoluzione maggiore produce più chunk, più metadati, embedding aggiuntivi per regione o derivati delle immagini conservati. Questo effetto deve rimanere misurabile nel carico di lavoro previsto sul server domestico.
L'OCR a bassa risoluzione può rendere più grande un indice?
Sì. Le sequenze di caratteri illeggibili possono essere suddivise in molti frammenti e creare chunk rumorosi. Un'immagine sorgente più piccola può quindi produrre più token di testo rispetto a una scansione nitida, offrendo al contempo un recupero e citazioni peggiori. La distinzione è importante quando diverse fasi della pipeline condividono lo stesso budget di spazio e memoria.
Misura lo spazio di archiviazione per livello della pipeline
Seleziona pagine con testo normale, caratteri piccoli, tabelle, scrittura a mano e scansioni degradate. Elaborale a diverse risoluzioni effettive mantenendo costanti il modello OCR, la lingua, il chunking, la dimensione degli embedding e la politica di conservazione, quindi registra l'accuratezza dei caratteri, il numero di token, il numero di chunk, i byte dei vettori, i byte dei metadati, i derivati, i picchi temporanei e la qualità del recupero.
Quando sono presenti tabelle o moduli, usa i controlli dell'ordine di lettura nelle verifiche dell'ordine di lettura. Attribuisci ogni byte alle immagini sorgente, all'output OCR, ai chunk, ai vettori o alle miniature, così che una directory più grande non venga erroneamente descritta come crescita dell'indice vettoriale.
Scegli la risoluzione più bassa che soddisfi gli obiettivi di riconoscimento e citazione per ogni classe di documenti. Conserva le sorgenti ad alta risoluzione solo dove servono per future rielaborazioni e rimuovi l'OCR rumoroso o i derivati ridondanti prima di concludere che più pixel migliorino la base di conoscenza.
Prodotti consigliati
Hub Tecnologico e AI
Altro da leggere
Le telecamere domestiche possono sincronizzare gli eventi senza servizi di sincronizzazione dell’ora nel cloud?
Una spiegazione basata prima di tutto sul meccanismo del tempo della fotocamera senza cloud, dei compromessi legati alle risorse condivise, tre domande frequenti sulla...
Un servizio di IA locale può rilevare i livelli del modello danneggiati prima dell'inferenza?
Una spiegazione della rilevazione della corruzione a livello del modello basata innanzitutto sul meccanismo, dei compromessi legati alle risorse condivise, di tre FAQ sull'amplificazione...
È possibile ripristinare un sistema RAG senza rigenerare ogni embedding?
Una spiegazione di RAG Restore senza re-embedding, incentrata sui meccanismi, dei compromessi legati alle risorse condivise, tre FAQ sull'espansione delle query e un protocollo...
