لماذا تتغير تمثيلات المستندات بعد تحديث حزمة لغة OCR؟

تتغير تمثيلات المستندات بعد تحديث لغة التعرف الضوئي على الحروف (OCR) لأن أداة التعرف الجديدة تغيّر النص أو حدود الرموز أو التخطيط المقدم إلى المُرمّز.

قد تبدو فاتورة ممسوحة ضوئيًا متطابقة، بينما يتغير النص المستخرج من تشغيل OCR إلى آخر. قد يصلح نموذج لغوي أفضل علامات التشكيل والكلمات، لكنه قد يقسم الكلمات المركبة بطريقة مختلفة، أو يعيد ترتيب الأعمدة، أو يتعرف على الأرقام باستخدام نظام كتابة آخر. ونتيجة لذلك، تتغير تجزئات النص وتسلسلات الرموز ومواضع المتجهات والجيران الأقرب بشكل ملحوظ في المراحل اللاحقة.

حزمة اللغة تغيّر تسلسل الرموز المتعرّف عليها

يجمع OCR بين الأدلة البصرية ومجموعة أحرف خاصة باللغة ومعجم ونموذج للتسلسل. وقد يؤدي تحديث هذه المكونات إلى استبدال الحروف الرسومية المتشابهة، أو تغيير علامات التشكيل، أو وصل الكلمات أو فصلها، أو اختيار نظام كتابة آخر للمنطقة الغامضة نفسها.

يوضح إطار التدريب متعدد اللغات على OCR أن التدريب المراعي للغة يغيّر اكتمال OCR ومتانته مع النصوص الصغيرة أو الضبابية أو المتناثرة مكانيًا. وتؤدي هذه التحسينات بالضرورة إلى تغيير السلاسل النصية التي تستهلكها مراحل الاسترجاع اللاحقة. ويظل هذا الفرق ظاهرًا أثناء الاختبارات المنزلية اللاحقة.

حتى التصحيحات تغيّر التمثيلات لأن المُرمّزات تجزئ السلسلة الجديدة بطريقة مختلفة. وقد يؤثر إصلاح رمز منتج واحد أكثر من عدة تغييرات في علامات الترقيم عندما يعتمد الاستعلام على ذلك المعرّف، لذلك لا تمثل مسافة المتجه مباشرة نسبة أخطاء الأحرف.

يؤدي التخطيط والتجزئة إلى تضخيم الفروق الصغيرة في OCR

يُحوَّل ناتج OCR عادةً إلى ترتيب قراءة وفقرات وجداول ومقاطع قبل إنشاء التمثيلات. وقد يؤدي تغيير فاصل أسطر أو إسناد عمود إلى نقل جمل بين حدود المقاطع، فيستبدل قدرًا أكبر بكثير من السياق المُرمّز مما توحي به الأحرف المعدلة وحدها.

تجادل الأبحاث حول العلاقات المكانية في OCR بأن ترتيب القراءة أحادي البعد قد يسيء تمثيل العلاقات المكانية بين كلمات OCR. وتفسر النتيجة سبب قدرة تغيّر التخطيط أو المعالجة اللغوية على إعادة تنظيم الجوار الدلالي، حتى عندما تظل صورة الصفحة ثابتة.

وتضيف التجزئة وفق عدد الرموز انقطاعًا آخر. فإذا استهلكت الكلمات المصححة عددًا مختلفًا من الرموز، تحركت الحدود اللاحقة، وقد يحتوي كل متجه تالٍ على مزيج مختلف من الجمل إلى أن تعيد حدود قسم مستقرة ضبط العملية.

قد تؤدي نتيجة OCR الأفضل إلى تقليل استقرار الاسترجاع

قد يقرّب النص المحسّن المستند من جواره الدلالي الحقيقي، لكن الفهرس المختلط الذي يحتوي على تمثيلات OCR قديمة وجديدة يصبح غير متسق داخليًا. وقد تحصل الصفحات المكررة على ترتيب مختلف لمجرد معالجتها باستخدام إصدارات مختلفة من خط الأنابيب.

تعمل دراسة حول الاسترجاع الهجين المراعي لـ OCR على تحسين نص OCR المشوش قبل البحث المتناثر والكثيف، وتبلغ عن تحسن في الاسترجاع من دون تغيير بنية الاسترجاع. وتثبت أن جودة النص في المراحل الأولية تؤثر في كل من المطابقة المعجمية والتمثيل المتجهي في المراحل اللاحقة.

وتتمثل نقطة الفشل في عزو كل تغيير في المتجه إلى حزمة اللغة. فقد تحرك المتجهات أيضًا إصدارات المحلل، والتطبيع، ونماذج التضمين، وحجم المقاطع، ونوى الحساب بالفاصلة العائمة، وتكميم الفهرس. جمّد هذه المراحل وقارن النص المستخرج أولًا قبل اعتبار OCR السبب.

Featured

ZimaCube 2 سحابة شخصية منزلية NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

أصدر خط أنابيب OCR إلى التضمين وأعد تشغيله

اختر صفحات تحتوي على علامات تشكيل، وأنظمة كتابة مختلطة، وجداول، وخط يد، ورموز منتجات، ونص أحادي اللغة واضح. شغّل حزمتي اللغة القديمة والجديدة على صور متطابقة مع تثبيت المحلل والمطبّع والمجزّئ ونموذج التضمين والدقة وإعدادات الفهرس. ويجب أن تظل النتيجة الوسيطة قابلة للفحص قبل متابعة الأتمتة.

قارن تعديلات الأحرف وتغييرات التخطيط باستخدام عدم اتساق OCR، ثم سجّل ترتيب القراءة وحدود المقاطع وأعداد الرموز وتغير جيب التمام وتداخل الجيران الأقرب واسترجاع الاستدعاء وصحة الاستشهادات. افصل بين التحسينات والمتجهات المختلفة فحسب. ويجب قياس هذه الحدود بشكل منفصل في ظروف تشغيل واقعية.

أعد فهرسة مجموعة باستمرار فقط عندما يحسّن إصدار OCR الجديد جودة الاسترجاع أو الأدلة في بيانات محجوزة للاختبار. وإذا تراجعت بعض اللغات، فاحتفظ بالمخرجات ذات الإصدارات أو وجّه الصفحات بحسب اللغة المكتشفة؛ ولا تخلط أجيال OCR غير المعلّمة وتسمّي تغييرات الترتيب انجرافًا في النموذج.