PDFを再圧縮すると、なぜOCRは薄い文字を認識できなくなるのか？

PDFの再圧縮後にOCRが薄い文字を読み落とすのは、低コントラストの線がダウンサンプリング、量子化、ぼかし、またはページ背景との混合によって失われる可能性があるためです。

PDFビューアでは、ズーム補間、シャープニング、人間による文脈的な読み取りによって、再圧縮されたページが問題なく見えることがあります。一方、OCRは選択した解像度でレンダリングされたラスター画像を処理し、局所的な輝度パターンを文字に変換します。薄いインクが数ピクセルにしか存在しない場合、圧縮や色処理のわずかな変化によって、そのピクセルがセグメンテーションや認識のしきい値を下回ることがあります。

再圧縮によってページがラスタライズおよびダウンサンプリングされる可能性がある

PDFオプティマイザーは、組み込みスキャン画像の再サンプリング、DPIの低減、カラースペースの変換、または新しいコーデックを適用する前の透明効果の統合を行うことがあります。その結果、細い線が占めるピクセル数が減り、平均化によって線の濃度が白い背景と混ざります。

文書の二値化に関する広範なレビューでは、不均一な照明、劣化、低コントラストの状況で、文書の二値化が前景と背景をどのように分離するかが説明されています。その研究結果は、しきい値処理の前に保持された情報に薄い文字の復元が左右されることを示しています。この違いは、その後の実環境テストでも確認できます。

非可逆保存を繰り返すと、各世代が以前のアーティファクトを基に処理するため、問題が積み重なります。JPEGのブロック変換と量子化は微細な高周波変化を除去し、強いモノクロ変換では、境界上にある灰色の線が完全に消えることがあります。自動化を進める前に、中間結果を検証できる状態に保つ必要があります。

OCRのレンダリングと前処理によって追加のしきい値が適用される

OCRエンジンまたはPDFライブラリは、レンダリングDPI、アンチエイリアス方式、色変換、ノイズ除去、傾き補正、二値化方式を選択します。画面を拡大すれば読めるページでも、OCRでは解像度が低い、または異なるフィルターが適用されたビットマップになることがあります。

OCRを考慮した二値化に関する研究では、OCR向けに二値化パラメーターを共同最適化しており、単一のしきい値処理がすべての文書に適するわけではないことを示しています。周囲の単語から人間が推測できる場合でも、低コントラストの線が背景として分類されることがあります。

適応的なしきい値処理は局所的な薄い文字を復元できますが、紙の質感や圧縮によるリンギングを強調し、誤った文字を生成することがあります。グローバルしきい値処理はノイズをより一貫して抑制できますが、インクと背景の輝度が重なる部分では失敗します。この境界は、現実的な運用条件の下で個別に測定する必要があります。

人間の視覚とOCRは異なる境界で失敗する

人間はズーム、単語の形、言語的な予測、周辺の文章を組み合わせて読み取りますが、OCRにはセグメンテーションと分類に十分な局所的証拠が必要です。そのため、見た目にもっともらしいページであっても、文字のピクセルが残っている証拠にはなりません。複数の情報源が限られた文脈を奪い合う場合、この実際的な影響が現れます。

OCRの前処理が与える影響に関する分析では、劣化した文書における前処理とOCR精度の関係が示されており、解像度、コントラスト、ノイズ、しきい値処理が独立して作用するのではなく、相互に影響することが改めて確認されています。この依存関係は、最終的なインターフェースでも明示しておくべきです。

失敗の原因をすべて再圧縮に帰することが、誤った判断につながります。新しいOCR処理では、別の言語パック、レンダラー、DPI、レイアウトモード、またはキャッシュされたページ画像が使われている可能性があります。同じエンジンに入力された正確なラスター画像を比較してください。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

OCR入力時点で元のページと再圧縮後のページを比較する

元のページと再圧縮後のページを、同一のDPIと色設定でレンダリングします。検証済みの正解データを使用して、ピクセル寸法、コーデック、実効解像度、線と背景の局所的なコントラスト、エッジ幅、ブロックアーティファクト、OCR信頼度、文字誤り率、欠落領域を測定します。

OCRの一貫性の欠如を利用して、ページごとの不一致がレイアウトに起因するのか、画像品質に起因するのかを確認します。前処理を固定してOCRを繰り返し、その後、レンダリングDPI、しきい値処理方式、再圧縮品質だけを変えます。したがって、結果は元の証拠と照合して確認する必要があります。

同じエンジンが元のラスター画像では成功し、測定可能な線の情報が失われた箇所で失敗する場合、再圧縮が原因だと判断できます。元データを保存し、非可逆最適化の繰り返しを避け、薄い印が法的または歴史的な意味を持つ文書には、より高品質な方式または可逆方式を選択してください。