كيفية البحث في المستندات الداخلية باستخدام الذكاء الاصطناعي دون رفعها إلى السحابة

إيفا وونغ

IceWhale author

إيفا وونغ هي كاتبة تقنية و ومهندسة هاوية في ZimaSpace. مهووسة بالتكنولوجيا مدى الحياة ولديها شغف بالمختبرات المنزلية والبرمجيات مفتوحة المصدر، تتخصص في تبسيط المفاهيم التقنية المعقدة إلى أدلة عملية وسهلة الفهم. تؤمن إيفا بأن الاستضافة الذاتية يجب أن تكون ممتعة وليست مخيفة. من خلال دروسها، تمكّن المجتمع من تبسيط إعدادات الأجهزة، بدءًا من بناء أول نظام تخزين شبكي NAS وحتى إتقان حاويات Docker.

How to Search Internal Documents With AI Without Uploading Them to the Cloud - Zima Store Online

إجابة سريعة

يمكنك البحث في المستندات الداخلية بالذكاء الاصطناعي دون رفع الملفات إلى السحابة عن طريق تشغيل سير بحث مستندات محلي يجمع بين تخزين الملفات، OCR، التحليل الهيكلي، البحث النصي الكامل، الاسترجاع الدلالي، ونموذج لغة محلي اختياري.

يقوم النظام أولاً بتحويل ملفات PDF، المسوحات، الإيصالات، الأدلة، الملاحظات، وملفات المكتب إلى نص قابل للبحث. ثم يحفظ البيانات الوصفية مثل اسم الملف، رقم الصفحة، نوع المستند، التاريخ، المجلد، الإصدار، وأذونات الوصول. عند طرح سؤال، يسترجع النظام المقاطع الأكثر صلة ويمكنه استخدام نموذج لغة كبير لتوليد إجابة مرتبطة بالمستندات الأصلية.

لا تحتاج دائمًا إلى روبوت دردشة أو قاعدة بيانات متجهات. قد يكون نظام إدارة المستندات مع OCR والبحث النصي الكامل كافيًا لأسماء الملفات الدقيقة، البائعين، التواريخ، أرقام الحسابات، والعبارات المعروفة. يصبح البحث الدلالي والتوليد المعزز بالاسترجاع أكثر فائدة عندما يتذكر المستخدم معنى المستند وليس صياغته أو موقعه الدقيق.

يمكن أن يعمل NAS كطبقة تخزين خاصة لهذا السير، لكن OCR، التضمينات، الاسترجاع، واستدلال النموذج قد تعمل إما على NAS أو على كمبيوتر محلي منفصل. أفضل بنية هي التي تحافظ على إمكانية استرداد المستندات، فرض الأذونات، وسهولة التحقق من الإجابات.

ما هو البحث الخاص بالذكاء الاصطناعي في المستندات؟

هو نظام بحث مبني حول ملفاتك الخاصة

البحث الخاص بالذكاء الاصطناعي في المستندات هو سير عمل محلي أو مستضاف ذاتيًا يساعد المستخدمين في العثور على معلومات داخل المستندات التي يتحكمون بها. قد تشمل تلك المستندات ملفات PDF، صفحات ممسوحة ضوئيًا، إيصالات، فواتير، سياسات تأمين، عقود، أدلة، جداول بيانات، ملاحظات، نماذج، ومرفقات بريد إلكتروني.

على عكس روبوت الدردشة العام، لا يُتوقع من النظام معرفة محتويات الأرشيف الخاص من تدريبه الأصلي. يبحث في فهرس مبني من مستندات المستخدم ويُرجع النصوص ذات الصلة عند طرح سؤال.

قد تُخزن الملفات على NAS، خادم منزلي، كمبيوتر صغير، محطة عمل، أو نظام تخزين خاص آخر. NAS مفيد لأنه يركز المستندات الأصلية، الأذونات، النسخ الاحتياطية، والمجلدات المشتركة، لكن الذكاء يأتي من سلسلة البرامج التي تعمل حول تلك الملفات.

البحث، الاسترجاع الدلالي، والتوليد المعزز بالاسترجاع هي قدرات مختلفة

غالبًا ما توصف أنظمة المستندات الخاصة بأنها "بحث بالذكاء الاصطناعي"، لكن قد تتضمن عدة مستويات مختلفة من الوظائف.

مستوى البحث	ما الذي يفعله	سؤال المستخدم النموذجي	هل يتطلب نموذج لغة كبير (LLM)؟
البحث في المجلد واسم الملف	يجد الملفات حسب المسار، اسم الملف، الامتداد، أو تاريخ التعديل.	"ابحث عن ملف دليل هوندا PDF."	لا
البحث النصي الكامل	يجد كلمات أو عبارات دقيقة داخل المستندات المعالجة بواسطة OCR.	"ابحث عن كل مستند يحتوي على 'ضريبة الممتلكات'."	لا
البحث الدلالي	يجد مقاطع ذات معنى ذي صلة حتى عندما تختلف الصياغة.	"أي سياسة تناقش الأضرار الناجمة عن الماء؟"	لا، لكنه عادةً ما يتطلب نموذج تضمين.
الإجابة على الأسئلة باستخدام RAG	يسترجع المقاطع ذات الصلة ويطلب من LLM شرحها أو تلخيصها.	"متى تنتهي صلاحية ضمان الثلاجة؟"	نعم

قد يدعم نظام المستندات المنزلي القوي جميع المستويات الأربعة. لا ينبغي للمستخدمين افتراض أن كل أرشيف يحتاج إلى الخيار الأكثر تعقيداً.

ما الذي يبقى محلياً في إعداد خاص؟

قد يحتفظ الإعداد المحلي الكامل بالمكونات التالية داخل الشبكة المنزلية:

ملفات المستندات الأصلية
النص الناتج عن التعرف الضوئي على الحروف
الجداول المحللة وهيكل المستند
التضمينات وفهارس المتجهات
البيانات الوصفية وأذونات الوصول
استعلامات البحث
المقاطع المسترجعة
مطالبات LLM والإجابات المولدة

قد يحتفظ الإعداد الهجين بالمستندات المصدر والفهرس محلياً بينما يرسل نصاً مسترجعاً مختاراً إلى نموذج سحابي للمعالجة. يمكن أن يحسن ذلك جودة الإجابة أو يقلل متطلبات الأجهزة المحلية، لكن يجب على المستخدمين فهم بالضبط أي معلومات تغادر الشبكة.

ما أنواع المستندات التي يمكن للذكاء الاصطناعي البحث فيها؟

ملفات PDF الرقمية ومستندات Office

غالباً ما تحتوي ملفات PDF الرقمية، وملفات معالجة النصوص، والعروض التقديمية، وجداول البيانات على طبقة نص موجودة. هذه الملفات عادةً ما تكون أسهل في الفهرسة من الممسوحة ضوئياً لأن النص يمكن استخراجه مباشرة.

مع ذلك، لا يضمن الاستخراج المباشر وجود هيكل نظيف. قد يحتوي ملف PDF على أعمدة متعددة، صناديق نص عائمة، رؤوس مكررة، جداول، حواشي، أو ترتيب قراءة غير معتاد. قد تكون الكلمات المستخرجة صحيحة بينما يكون التسلسل الناتج خاطئاً.

ملفات PDF الممسوحة ضوئياً، الإيصالات، والصور

غالباً ما تكون المستندات الممسوحة ضوئياً صوراً مخزنة داخل حاوية PDF. قد تبدو قابلة للقراءة للشخص لكنها لا تحتوي على نص قابل للبحث.

يقوم التعرف الضوئي على الحروف بتحويل صور الصفحات هذه إلى نص قابل للقراءة آلياً. وهذا مهم بشكل خاص لـ:

الفواتير الورقية والكشوفات المرسلة بالبريد
الإيصالات والفواتير
النماذج الموقعة
الكتيبات القديمة
السجلات الطبية أو المدرسية
الرسائل الممسوحة ضوئياً
المستندات المصورة

تعتمد جودة التعرف الضوئي على الحروف (OCR) على صورة المصدر، اللغة، الدقة، الدوران، الانحراف، التباين، الضوضاء، الخط اليدوي، الخطوط، والتخطيط. يمكن أن يغير التعرف الضوئي الخاطئ التواريخ، الإجماليات، الأسماء، أرقام السياسات، أو معلومات الحساب قبل أن يبدأ نظام البحث حتى.

الجداول، النماذج، والتخطيطات المعقدة

الجداول والنماذج أصعب في المعالجة من الفقرات العادية. قد يستخرج النظام كل كلمة لكنه يفقد العلاقة بين عنوان العمود والقيم أسفله.

هذا مهم لوثائق الضرائب، وكشوف الحسابات البنكية، وجداول التأمين، وتقارير المختبرات، والفواتير، وأوراق مواصفات المنتجات. قد يؤدي الجواب الناتج من جدول معطوب إلى دمج تسمية مع قيمة خاطئة.

تدعم مجموعة أدوات Docling مفتوحة المصدر تحويل المستندات عبر الصيغ المختلفة وتشمل تحليل تخطيط PDF، التعامل مع ترتيب القراءة، التعرف على هيكل الجداول، الصيغ، وعناصر المستندات المنظمة الأخرى.

ملاحظات، كتيبات، ومرفقات البريد الإلكتروني

قد تحتوي قواعد المعرفة المنزلية أيضًا على ملفات Markdown، ملاحظات نصية عادية، رسائل بريد إلكتروني مؤرشفة، كتيبات تعليمات، سجلات منزلية، مواد بحثية، ومجلدات مشاريع.

غالبًا ما تكون هذه الملفات أقل حساسية من سجلات الضرائب أو السجلات الطبية، لكنها قد تستفيد من الفهرسة المحلية. قد يرغب المستخدم في البحث في عدة كتب إرشادية مرة واحدة، استرجاع تعليمات من سنوات من ملاحظات المشاريع، أو طرح أسئلة عبر مستندات كانت مخزنة أصلاً في مجلدات مختلفة.

خط أنابيب البحث الخاص في مستندات الذكاء الاصطناعي

يجب فهم مساحة العمل الخاصة بالمستندات كخط أنابيب. تعتمد جودة الإجابة النهائية على كل مرحلة قبل نموذج اللغة الكبير.

مرحلة خط الأنابيب	ما الذي يشمله	المخاطرة الرئيسية
1. استلام المستندات	المجلدات المراقبة، التحميلات، استيراد البريد الإلكتروني، المسح الضوئي، مجلدات NAS، وتصنيف المستندات.	قد تكون المستندات مفقودة أو مكررة أو موضوعة تحت أذونات خاطئة.
2. التعرف الضوئي على الحروف والتحليل	استخراج النص، التعرف الضوئي على الحروف، تحليل التخطيط، التعرف على الجداول، تدوير الصفحات، والتنظيف.	قد يكون النص المستخرج غير مكتمل أو مشوه أو موضوع بترتيب قراءة خاطئ.
3. هيكلة السياق	التقسيم، عناوين المستندات، مراجع الصفحات، التواريخ، الإصدارات، مسارات الملفات، وبيانات وصفية للوصول.	قد يفقد النص المسترجع مصدره الأصلي أو السياق المحيط به.
4. الفهرسة	فهرس النص الكامل، التضمينات، قاعدة بيانات المتجهات، فهرس البيانات الوصفية، وحقول الكلمات المفتاحية.	يمكن أن يجعل الفهرسة السيئة من المستحيل استرجاع المستندات ذات الصلة.
5. الاسترجاع	البحث بالكلمات المفتاحية، البحث الدلالي، الفلاتر، الاسترجاع الهجين، وإعادة الترتيب.	قد يتم اختيار المقاطع الخاطئة للسؤال.
6. توليد الإجابة	نموذج اللغة الكبير المحلي أو السحابي، المقاطع المسترجعة، تعليمات المطالبة، وتنسيق الرد.	قد يسيء النموذج تفسير الأدلة المسترجعة أو يبالغ فيها.
7. التحقق	مقتطفات المصدر، أسماء الملفات، أرقام الصفحات، الروابط، قواعد الثقة، والمراجعة البشرية.	قد يثق المستخدمون في إجابة سلسة دون التحقق من المصدر.

الخطوة 1: جمع المستندات في مساحة عمل مُتحكم بها

يجب أن يبدأ سير العمل بموقع أو أكثر من مواقع الاستلام المُتحكم بها. قد تشمل هذه:

مجلد مراقب للمسح الضوئي
صندوق وارد للتنزيلات
صندوق بريد لاستيراد البريد الإلكتروني
مشاركة NAS خاصة
مجلد مستندات منزلية
مجلد للكتب الإرشادية والضمانات
مساحات عمل منفصلة للمالية أو الطبية أو القانونية

يمكن أن يحسن التصنيف والتسمية التلقائية الاسترجاع لاحقًا، لكن لا ينبغي أن ترث جميع الملفات الحساسة نفس الأذونات. يجب أن يحترم نظام البحث في المستندات حدود الوصول للأرشيف الأصلي.

تتصل هذه المرحلة بـ الفرز التلقائي للملفات قبل البحث الخاص في المستندات. يجعل التسمية الأفضل وأنواع المستندات والتواريخ وبنية المجلدات كل من البحث التقليدي واسترجاع الذكاء الاصطناعي أسهل في الصيانة.

الخطوة 2: تشغيل التعرف الضوئي على الحروف والتحليل الهيكلي

قد تسمح الوثائق الرقمية باستخراج النص مباشرة. تتطلب الوثائق الممسوحة ضوئيًا أو المصورة التعرف الضوئي على الحروف. قد تتطلب ملفات PDF المعقدة تحليلًا واعيًا للتخطيط يحافظ على الجداول، العناوين، ترتيب الصفحات، والبنية البصرية.

توضح وثائق تكوين Paperless-ngx ضوابط التعرف الضوئي على الحروف للغة، التنظيف، تصحيح الانحراف، تدوير الصفحة، تنسيق الإخراج، حدود الصفحات، ودقة الصورة.

تؤثر هذه الإعدادات على جودة البحث اللاحقة. قد تخلق صفحة مائلة، نموذج لغة غير صحيح، أو مسح تالف نصًا يبدو معقولًا لكنه يحتوي على أخطاء حرجة.

الخطوة 3: الحفاظ على إثبات المصدر والأذونات

يجب أن يظل كل مقطع قابل للبحث مرتبطًا بوثيقته الأصلية. قد تشمل البيانات الوصفية المفيدة:

اسم الملف الأصلي
مسار الملف
رقم الصفحة
القسم أو العنوان
نوع الوثيقة
المراسل أو المرسل
تاريخ الإنشاء والتعديل
إصدار الوثيقة
حالة التعرف الضوئي على الحروف (OCR)
المالك أو الرافع
مجموعة التحكم في الوصول

بدون إثبات المصدر، قد يسترجع النظام جملة مفيدة لكنه يفشل في إظهار مصدرها. بدون بيانات وصفية للأذونات، قد يكشف واجهة البحث المشتركة عن نصوص من ملفات لا ينبغي للمستخدم الحالي رؤيتها.

الخطوة 4: بناء أكثر من نوع واحد من المؤشرات

قد يستخدم مساحة عمل الوثائق الخاصة عدة مؤشرات في آن واحد:

مؤشر أسماء الملفات والمجلدات
مؤشر الكلمات المفتاحية للنص الكامل
مؤشر البيانات الوصفية
مؤشر المتجهات الدلالية
مؤشر النسخ المكررة أو الإصدارات

لا يجب أن تحل قاعدة بيانات المتجهات محل إدارة الوثائق الأساسية. البحث الدقيق غالبًا ما يكون أفضل لأرقام الفواتير، أسماء النماذج، معرفات السياسات، التواريخ، والاقتباسات اللغوية. البحث الدلالي أكثر فائدة عندما تختلف الصياغة.

الخطوة 5: استرجاع وإعادة ترتيب المقاطع ذات الصلة

عندما يطرح المستخدم سؤالاً، يجب على النظام اختيار الأدلة قبل استدعاء نموذج اللغة الكبير.

قد يجمع الاسترجاع بين:

مطابقات الكلمات المفتاحية الدقيقة
التشابه الدلالي
مرشحات نوع الوثيقة
مرشحات التاريخ أو المجلد
مرشحات أذونات المستخدم
مرشحات الإصدارات
إعادة ترتيب النتائج الأولية

توضح وثائق تصفية Qdrant كيف يمكن تقييد نتائج المتجهات من خلال شروط مثل must، should، وmust_not. في نظام الوثائق الخاص، يمكن لتصفية مماثلة أن تحد من البحث إلى مجلدات مختارة، تواريخ، أنواع الوثائق، المالكين، أو الإصدارات.

الخطوة 6: توليد إجابة من السياق المسترجع

بعد الاسترجاع، يتم وضع المقاطع المختارة في سياق النموذج مع سؤال المستخدم وتعليمات الإجابة.

تصف مقدمة إلى RAG من LlamaIndex سير عمل يتم فيه تحميل بيانات المستخدم، فهرستها، تخزينها، استعلامها، وتقييمها. يقوم استعلام المستخدم بتصفية الفهرس إلى السياق ذي الصلة، والذي يُرسل بعد ذلك إلى نموذج اللغة الكبير مع الموجه.

هذا يختلف عن تدريب النموذج بشكل دائم على الأرشيف الخاص. تظل المستندات مصادر خارجية يمكن تحديثها أو إزالتها أو إعادة معالجتها أو إعادة فهرستها.

الخطوة 7: عرض الأدلة والسماح بعدم اليقين

يجب ألا يعيد مساعد المستندات الخاص فقرة مصقولة فقط. يجب أن يعرض أيضًا أدلة كافية للمستخدم للتحقق من الإجابة.

عناصر التحقق المفيدة تشمل:

عنوان المستند
اسم الملف الأصلي
مرجع الصفحة أو القسم
مقتطف من المصدر المسترجع
رابط لفتح المستند الأصلي
تاريخ أو إصدار المصدر
رد واضح "لا يوجد دليل كافٍ"

تصف وثائق التوليد المعزز بالاسترجاع (RAG) - Open WebUI دعم الاقتباس الذي يسمح للمستخدمين بتتبع سياق المستند المستخدم في الردود المولدة.

Paperless-ngx مقابل بحث المستندات بالذكاء الاصطناعي

ما يبرع فيه Paperless-ngx

Paperless-ngx هو في الأساس نظام لإدارة المستندات وأرشيف قابل للبحث. يمكنه استيعاب الملفات، تشغيل التعرف الضوئي على الحروف (OCR)، حفظ النسخ الأصلية، إنشاء نسخ مؤرشفة، تطبيق البيانات الوصفية، تنظيم المستندات، ودعم البحث وسير العمل.

وفقًا لـ الاستخدام الأساسي - Paperless-ngx، يمكن أن تدخل المستندات من مصادر مثل مجلد الاستهلاك، API، واجهة الويب، أو استرجاع البريد. يخزن النظام المستند الأصلي ويمكنه الاحتفاظ بنسخ مؤرشفة بجانبه.

بالنسبة للعديد من الأسر، هذا يحل بالفعل جزءًا كبيرًا من المشكلة:

جعل المسح الضوئي قابلاً للبحث
العثور على مستندات بكلمات دقيقة
التصفية حسب العلامات أو نوع المستند
البحث عن المرسلين، التواريخ، أو الحقول المخصصة
إدارة أرشيف مستندات متسق

ما يمكن أن يحله البحث النصي الكامل بدون RAG

قد يكون البحث النصي الكامل كافيًا عندما يعرف المستخدم عبارة أو معرفًا محتملًا. تشمل الأمثلة:

“ضريبة الممتلكات”
“هوندا CR-V”
“رقم الوثيقة 28491”
“ضمان سخان الماء”
“فاتورة 2026-174”
“الخصم السنوي”

غالبًا ما يكون البحث النصي الكامل أسرع وأسهل في التصحيح وأقل احتمالًا لتوليد إجابة خاطئة. يجب على المستخدمين اختباره قبل الافتراض بأنهم بحاجة إلى نموذج لغة كبير (LLM).

ما تضيفه طبقة RAG إضافية

تصبح طبقة بحث دلالي أو RAG منفصلة مفيدة عندما لا تتطابق السؤال مع صياغة المصدر بالضبط.

على سبيل المثال:

يقول المستند "تسرب المياه"، لكن المستخدم يبحث عن "أضرار الفيضانات".
تحتوي الضمانة على عدة بنود، ويريد المستخدم شرحًا مختصرًا.
يجب تجميع الإجابة من عدة مستندات ذات صلة.
يريد المستخدم مقارنة بين نسختين من السياسة.
يحتوي الأرشيف على كتيبات طويلة يصعب تصفحها يدويًا.

يمكن أن يظل Paperless-ngx طبقة الإدخال، والتعرف الضوئي على الحروف، والبيانات الوصفية، والأرشيف بينما يقوم تطبيق بحث إضافي أو RAG بفهرسة مستندات مختارة للاسترجاع الحواري.

عندما يكون Paperless-ngx وحده كافيًا

لا تضف نموذج لغة كبير فقط لأنه ممكن. قد يكون Paperless-ngx أو نظام إدارة وثائق آخر كافيًا عندما:

الأرشيف صغير نسبيًا.
الملفات تحتوي على بيانات وصفية متسقة.
يبحث المستخدمون بشكل رئيسي عن أسماء دقيقة، وتواريخ، وعبارات.
لا تُطلب ملخصات.
الوصول إلى الوثائق محدود لمستخدم أو اثنين.
الأسرة تريد صيانة قليلة.

لماذا قد يكون تحليل PDF أكثر أهمية من حجم النموذج

نموذج قوي لا يمكنه إصلاح الأدلة المفقودة

إذا أزال المحلل عمود جدول، أو قرأ الصفحات بترتيب خاطئ، أو فقد جملة أثناء التعرف الضوئي على الحروف، فلن يتلقى نموذج اللغة الدليل الصحيح أبدًا.

قد ينتج نموذج أكبر شرحًا أكثر طلاقة، لكنه لا يمكنه إعادة بناء النص الذي لم يُستخرج أو يُسترجع أبدًا بشكل موثوق.

ملفات PDF متعددة الأعمدة يمكن أن تنتج ترتيب قراءة خاطئ

بعض ملفات PDF تخزن النص حسب الإحداثيات البصرية بدلاً من ترتيب الفقرات المنطقي. قد يتناوب المستخرج الأساسي بين الأعمدة أو يخلط بين العناوين التوضيحية، والحواشي السفلية، ونص الجسم.

يمكن أن يخلق هذا أجزاءً مكسورة نحويًا أو مضللة دلاليًا، مما يقلل من جودة البحث بالكلمات المفتاحية والبحث الدلالي.

الجداول تحتاج إلى استخراج هيكلي

فكر في جدول تأمين يحتوي على أعمدة لنوع التغطية، والحد الأقصى، والخصم، وتاريخ الانتهاء. استخراج الكلمات دون الحفاظ على الصفوف والأعمدة قد ينتج ارتباطًا غير صحيح بين العناوين والقيم.

يصف التقرير التقني Docling مجموعة أدوات مفتوحة المصدر لتحويل الوثائق باستخدام نماذج متخصصة لتحليل التخطيط والتعرف على هيكل الجداول.

يمكن أن تلوث الرؤوس والتذييلات كل جزء

قد تظهر أسماء الشركات المكررة، وإشعارات السرية، وأرقام الصفحات، ونصوص التنقل، والتذييلات القانونية في كل صفحة. إذا تم تضمينها في كل جزء، فقد تهيمن على الاسترجاع وتنتج العديد من النتائج المتشابهة تقريبًا.

يجب أن تحدد المعالجة المسبقة العناصر المكررة وتزيلها مع الحفاظ على المعلومات المهمة للأصل.

إعداد الوثائق جزء من جودة البحث

تتعامل الورقة تطوير أنظمة توليد معززة بالاسترجاع (RAG) القائمة على LLM من ملفات PDF: تقرير تجربة مع جمع البيانات، والمعالجة المسبقة، وفهرسة الاسترجاع، وتوليد الاستجابة كمشكلة هندسية شاملة.

هذا نموذج ذهني أفضل من رفع مجلد من ملفات PDF وتوقع أن يفهم الدردشة كل شيء تلقائيًا.

البحث بالكلمات المفتاحية مقابل البحث الدلالي مقابل RAG

استخدم البحث بالكلمات المفتاحية للأدلة الدقيقة

يبقى البحث بالكلمات المفتاحية مفيدًا لأنه شفاف. يمكن للمستخدمين رؤية سبب تطابق المستند وغالبًا ما يمكنهم تحديد الصياغة الدقيقة بسرعة.

إنه أفضل أداة أولى لـ:

أرقام السياسات
أرقام الحسابات
أسماء نماذج المنتجات
أسماء البائعين المحددة
البنود المقتبسة
التواريخ والمبالغ
أسماء الملفات

استخدم البحث الدلالي عندما تختلف الصياغة

البحث الدلالي مفيد عندما يعبر السؤال والوثيقة عن نفس الفكرة بكلمات مختلفة.

قد يسترجع "تسرب سائل" لاستعلام عن "أضرار المياه"، أو "إنهاء الإيجار" لاستعلام عن "إنهاء العقد."

التشابه الدلالي لا يثبت أن المقطع يحتوي على الإجابة. إنه يشير فقط إلى أن المقطع مرتبط مفهوميًا.

استخدم البحث الهجين لتغطية أفضل

يجمع الاسترجاع الهجين بين البحث النصي الدقيق والبحث الدلالي. هذا مفيد لأن بعض الأسئلة تحتوي على معرفات دقيقة ومفاهيم عامة.

على سبيل المثال، يحتوي الاستعلام "هل تغطي السياسة AB-381 أضرار المياه؟" على معرف سياسة دقيق وسؤال تغطية دلالي. يمكن للبحث بالكلمات المفتاحية تحديد السياسة، بينما يمكن للاسترجاع الدلالي تحديد البند ذي الصلة.

استخدم RAG عندما يحتاج المستخدم إلى شرح

يصبح RAG مفيدًا عندما يجب على النظام شرح أو مقارنة أو تلخيص أو تركيب المقاطع المسترجعة.

تشمل الأمثلة:

"لخص شروط الإلغاء في هذا العقد."
"قارن بين سياسات التأمين لعامي 2025 و2026."
"أي الإيصالات تتعلق بتجديد المطبخ؟"
"اشرح جدول الصيانة في هذا الدليل."
"ما هي الوثائق التي تذكر تسرب القبو؟"

يجب أن تظل الإجابة مرتبطة بالوثائق الأساسية بدلاً من استبدالها.

كيفية جعل إجابات الذكاء الاصطناعي قابلة للتحقق

عرض اسم الملف الأصلي والصفحة

إجابة مثل "تنتهي الضمانة في نوفمبر" غير كافية. يجب أن تعرض الواجهة أي مستند، وأي صفحة، وأي مقطع يدعم الادعاء.

عرض المقتطف المسترجع

يجب أن يكون المستخدمون قادرين على فحص النص الذي تم تقديمه للنموذج. هذا يساعد في التمييز بين فشل الاسترجاع وفشل التوليد.

إذا تم استرجاع المقطع الصحيح لكن النموذج أجاب بشكل غير صحيح، فالمشكلة في التفسير. إذا لم يتم استرجاع المقطع الصحيح أبدًا، فالمشكلة تكون في مرحلة سابقة من العملية.

حافظ على معلومات النسخة

غالبًا ما تحتوي الأرشيفات الخاصة على عدة نسخ من نفس الاتفاقية أو السياسة أو الدليل أو النموذج. يجب على نظام البحث الحفاظ على التواريخ، وعلامات النسخ، ومسارات الملفات حتى لا يتفوق مستند قديم على الحالي.

اسمح للنظام بالقول إنه لا يعرف

يجب على مساعد المستندات الموثوق رفض تقديم إجابة واثقة عندما تكون الأدلة المسترجعة ضعيفة أو متضاربة أو غير مكتملة.

تشمل الردود المفيدة:

"لم يتم العثور على مستند ذي صلة."
"المصادر المتاحة متضاربة."
"قد يعتمد الجواب على نسخة أحدث."
"نص التعرف الضوئي على الحروف غير واضح في هذه الصفحة."
"يرجى مراجعة الجدول الأصلي."

احتفظ بالمستند الأصلي كمصدر موثوق

بالنسبة للمعلومات المالية أو القانونية أو الطبية أو التأمينية أو الضريبية، يجب اعتبار الرد المولد كأداة توجيه. يظل المستند الأصلي المصدر الموثوق.

الذكاء الاصطناعي للمستندات المحلي فقط مقابل الهجين

المعالجة المحلية الكاملة

في إعداد محلي كامل، تعمل مهام التعرف الضوئي على الحروف، والتحليل، والتضمينات، والبحث المتجه، والاسترجاع، واستنتاج نماذج اللغة الكبيرة كلها على أجهزة يتحكم بها المستخدم.

يوفر هذا أوضح حدود للبيانات، لكنه قد يتطلب إعدادًا وصيانة وذاكرة وحوسبة أكثر.

المستندات المحلية مع الاستدلال السحابي

يمكن لسير عمل هجين الاحتفاظ بالمستندات والفهارس كاملة محليًا مع إرسال مقاطع مسترجعة مختارة فقط إلى نموذج سحابي.

قد يوفر هذا جودة توليد أقوى مع تقليل كمية المعلومات الحساسة التي تُنقل. لكنه لا يجعل سير العمل خاصًا بالكامل، لأن النص المسترجع والاستعلام لا يزالان يغادران النظام المحلي.

تخزين NAS مع جهاز ذكاء اصطناعي منفصل

لا يحتاج جهاز NAS إلى أداء كل مهمة ذكاء اصطناعي. قد يخزن المستندات والفهارس بينما يتولى جهاز كمبيوتر صغير منفصل أو سطح مكتب أو محطة عمل مهام التعرف الضوئي على الحروف، والتضمينات، وإعادة الترتيب، أو استنتاج النموذج.

يمكن لهذا التصميم حماية أداء التخزين عندما يكون جهاز NAS مشغولًا بالفعل بالنسخ الاحتياطية، وخدمات الملفات، وأعباء العمل الإعلامية، والحاويات الأخرى.

للمقارنة الأوسع، انظر التخزين المحلي مقابل النماذج الأكبر لـ RAG الخاص.

أسئلة يجب طرحها قبل استخدام واجهة برمجة تطبيقات خارجية

أي نص من المستند يُنقل؟
هل تُرسل الملفات كاملة أم فقط المقاطع المسترجعة؟
هل تُخزن الاستعلامات والردود؟
هل تُستخدم البيانات لتدريب النماذج؟
هل يمكن تعطيل التسجيل؟
أين يتم استضافة الخدمة؟
أي المستخدمين المنزليين مسموح لهم باستخدامه؟
هل يمكن استبعاد فئات المستندات الحساسة؟

ما هي الأجهزة التي يحتاجها البحث الخاص في المستندات؟

التعرف الضوئي على الحروف الأساسي والبحث النصي الكامل

يمكن لإدارة المستندات الأساسية، والتعرف الضوئي على الحروف، وترشيح البيانات الوصفية، والبحث النصي الكامل أن تعمل غالبًا على أجهزة خوادم منزلية x86 متواضعة.

المتطلبات الرئيسية للموارد عادةً هي:

وحدة معالجة مركزية كافية للتعرف الضوئي على الحروف والتحليل
ذاكرة وصول عشوائي كافية لتطبيق المستند وقاعدة البيانات
تخزين موثوق للأصول والإصدارات المؤرشفة
مساحة SSD للفهارس وبيانات التطبيقات
دعم الحاويات أو التطبيقات

التضمينات والبحث المتجهي

يمكن تشغيل توليد التضمينات على وحدة المعالجة المركزية للمكتبات الصغيرة، رغم أن الفهرسة الأولية قد تستغرق وقتًا. بمجرد فهرسة الأرشيف، قد تكون التحديثات التدريجية أخف بكثير.

البحث المتجهي نفسه قد لا يكون العبء الأكبر. التحليل، OCR، تحميل النموذج، وإعادة الفهرسة يمكن أن تخلق ضغط موارد أكثر وضوحًا.

ردود نموذج اللغة المحلي

قد يتطلب نموذج اللغة المحلي ذاكرة أكبر بكثير من OCR أو البحث. تعتمد المتطلبات على حجم النموذج، التكميم، طول السياق، وسرعة الاستجابة المتوقعة.

توثيق دعم الأجهزة - أولاما يسرد مسارات التسريع المدعومة لـ NVIDIA وAMD وApple وبيئات متوافقة مع Vulkan.

بطاقة GPU ليست ضرورية لكل مساحة عمل مستندات. يمكن للمستخدمين البدء بـ OCR، البحث النصي الكامل، التضمينات، ونموذج صغير قائم على وحدة المعالجة المركزية قبل تحديد ما إذا كانت التسريع تستحق التكلفة.

متى يكون الحوسبة المنفصلة أفضل

استخدم جهاز ذكاء اصطناعي منفصل عندما:

جهاز التخزين الشبكي يتباطأ أثناء الفهرسة.
دفعات OCR تتداخل مع النسخ الاحتياطية.
نموذج اللغة المحلي يحتاج إلى المزيد من ذاكرة الوصول العشوائي أو ذاكرة GPU.
عدة مستخدمين يستعلمون النظام في نفس الوقت.
جهاز التخزين الشبكي مسؤول بشكل أساسي عن التخزين الموثوق.
تشغيل النموذج يتطلب برامج تشغيل أو أجهزة غير مدعومة.

الدليل الداخلي هل عنق الزجاجة المحلي للذكاء الاصطناعي هو الحوسبة، الذاكرة، التخزين، أم الشبكة؟ يمكن أن يساعد في تحديد أي طبقة تحد من سير العمل.

كيفية اختبار نظام بحث المستندات الخاصة

بناء مجموعة اختبار تمثيلية

لا تبدأ بفهرسة الأرشيف الكامل. أنشئ مجموعة اختبار صغيرة تحتوي على حالات فشل مختلفة.

قد يتضمن مجموعة اختبار مفيدة:

ملف PDF رقمي نظيف
مسح ضوئي مائل
إيصال بخط صغير
مستند ذو عمودين
بيان يحتوي على جداول كثيرة
دليل جهاز طويل
عقد تأمين أو إيجار
نسختان من نفس المستند
ملف يفتقد بيانات وصفية
مستند لا يجب أن يصل إليه المستخدم الحالي للاختبار

اختبر الاسترجاع قبل الحكم على نموذج اللغة الكبير

عندما يكون الجواب خاطئًا، تحقق من المقاطع التي تم استرجاعها.

يجب أن يكون ترتيب الاختبار كالتالي:

هل تم استيعاب المستند بنجاح؟
هل تم استخراج النص بشكل صحيح؟
هل تم تقسيم القسم ذي الصلة بشكل صحيح؟
هل تم استرجاع المقطع الصحيح؟
هل تم اختيار النسخة الصحيحة؟
هل فسر النموذج المقطع بشكل صحيح؟
هل تضمن الرد أدلة مصدر قابلة للاستخدام؟

اختبر الحقائق الدقيقة والأسئلة الغامضة

استخدم مزيجًا من أنواع الاستعلامات:

القيمة الدقيقة: "ما هو إجمالي الفاتورة؟"
تاريخ: "متى يتم تجديد البوليصة؟"
بند: "ماذا يقول عقد الإيجار عن الحيوانات الأليفة؟"
مقارنة: "ما الذي تغير بين هذين الإصدارين؟"
عبر المستندات: "أي الإيصالات تتعلق بإصلاح السقف؟"
غير قابل للإجابة: "ما لون الجهاز؟" عندما لا تذكر المستندات ذلك

اختبر الأذونات

قد يسترجع النظام المستندات بدقة بينما يفشل كمساحة عمل خاصة إذا تجاهل التحكم في الوصول.

تأكد من:

لا يمكن لمستخدم واحد استرجاع مستندات خاصة بمستخدم آخر.
تظل المجلدات الطبية أو المالية مقيدة.
المستندات المشتركة مرئية للمستخدمين المقصودين.
مقتطفات المصدر تتبع نفس أذونات الملفات.
يتم تحديث الفهارس بعد تغييرات الأذونات.

تعلم من أنماط الفشل المجتمعية الحقيقية

في النقاش العام يريدني العمل على تطوير محرك بحث RAG للمستندات الداخلية، أثار المستخدمون مخاوف عملية حول التعرف الضوئي على الحروف، تصنيف المستندات، البيانات الوصفية، النسخ المكررة، إعادة الترتيب، البنية المحلية مقابل السحابية، المصدر، وحدود وضع كل جزء في قاعدة بيانات متجهات.

هذا يعكس درسًا هندسيًا مهمًا: نظام RAG خاص ليس مشروع دردشة بالدرجة الأولى. إنه مشروع جودة مستندات، استرجاع، أذونات، وتحقق مع واجهة دردشة في النهاية.

أنماط الفشل الشائعة

المستند الصحيح لا يتم استرجاعه أبدًا

قد لا يكون الملف قد تم استيعابه، أو فشل التعرف الضوئي على الحروف، أو كان الجزء كبيرًا جدًا أو صغيرًا جدًا، أو قد يحتاج الاستعلام إلى عوامل تصفية للكلمات المفتاحية والبيانات الوصفية.

التعرف الضوئي على الحروف يغير الأرقام الحرجة

قراءة خاطئة للرقم العشري، التاريخ، رقم البوليصة، أو الإجمالي يمكن أن تنتج إجابة غير صحيحة حتى عند عمل الاسترجاع كما هو مصمم.

يجب التحقق من الحقول الرقمية المهمة مقابل صورة الصفحة الأصلية.

النسخ القديمة والجديدة مختلطة

إذا ظهرت نسختان من عقد إيجار أو بوليصة تأمين أو ضمان في نفس النتائج، قد يدمج النموذج تفاصيلهما.

يجب أن تؤثر تواريخ الإصدارات، مواقع المجلدات، وتسميات المستند الحالي على الاسترجاع.

الجداول تفقد هيكلها

قد تُستخرج القيم بدون تسمية الصف أو العمود الصحيحة. يجب اختبار المستندات التي تحتوي على جداول بشكل منفصل عن الفقرات العادية.

التقسيم يفصل السؤال عن الإجابة

قد يتم وضع عنوان قسم في جزء واحد بينما تظهر تفاصيله في جزء آخر. قد يحافظ التقسيم الواعي للبنية أو التقسيم المتداخل على المزيد من السياق.

النموذج يجيب بدون أدلة كافية

الرد السلس لا يثبت أن المصدر يدعمه. يجب أن يتطلب الواجهة دليلاً من المصدر أو يعيد رسالة عدم اليقين.

يتم إضافة الأذونات بعد الفهرسة

إذا لم يكن التحكم في الوصول جزءًا من الاسترجاع، فقد يكشف الفهرس عن معلومات عبر حدود المستخدمين. يجب تصميم الخصوصية ضمن خط الأنابيب، وليس إضافتها فقط إلى واجهة الدردشة.

يقوم المستخدمون بفهرسة كل شيء قبل الاختبار

توسيع خط أنابيب معيب يصعب من عملية استكشاف الأخطاء وإصلاحها. تحقق من سير العمل باستخدام مستندات واقعية قبل معالجة الأرشيف الكامل.

متى يستحق بناء بحث خاص في مستندات الذكاء الاصطناعي؟

يكون البحث الخاص في مستندات الذكاء الاصطناعي أكثر فائدة عندما:

يحتوي الأرشيف على مئات أو آلاف المستندات.
يتذكر المستخدمون الأسئلة لكن ليس أسماء الملفات أو المجلدات.
تحتوي المسح الضوئي وملفات PDF على معلومات قيمة يصعب تصفحها.
يظهر نفس الموضوع عبر عدة ملفات.
تحتوي المستندات على معلومات شخصية حساسة.
يحتاج المستخدمون إلى ملخصات ولكنهم يحتاجون أيضًا إلى التحقق من المصدر.
يتغير الأرشيف بانتظام ويتطلب إعادة فهرسة.

قد يكون نظام إدارة مستندات أبسط أفضل عندما:

الأرشيف صغير.
الملفات مسماة جيدًا بالفعل.
البحث بالكلمة المفتاحية الدقيقة كافٍ.
نادراً ما يطرح المستخدمون أسئلة عبر مستندات متعددة.
لا ترغب الأسرة في صيانة خدمات ذكاء اصطناعي إضافية.

لا ينبغي أن يكون الهدف تحويل كل مجلد إلى روبوت محادثة. الهدف هو تقليل الوقت اللازم للعثور على المعلومات والتحقق منها والتي يصعب استرجاعها اليوم.

الخلاصة

يتطلب البحث في المستندات الداخلية باستخدام الذكاء الاصطناعي دون رفع الأرشيف الكامل إلى السحابة أكثر من نموذج لغة محلي. يبدأ سير العمل بالتخزين الموثوق، واستقبال المستندات، والتعرف الضوئي على الحروف، والتحليل الهيكلي، والبيانات الوصفية، والأذونات، والبحث بالكلمات المفتاحية، والاسترجاع الدلالي.

تضيف تقنية RAG قيمة فقط بعد عمل تلك الأسس. يمكنها تحويل المقاطع المسترجعة إلى ملخصات وإجابات بلغة طبيعية، لكنها لا تستطيع إصلاح النص المفقود، أو الجداول المعطلة، أو التعرف الضوئي الخاطئ، أو البيانات الوصفية الضعيفة، أو فشل الاسترجاع.

يمكن لجهاز التخزين الشبكي (NAS) توفير طبقة تخزين محكمة للمستندات الخاصة، بينما يمكن تشغيل التعرف الضوئي على الحروف، والتضمينات، والبحث المتجه، واستدلال النموذج إما على جهاز التخزين الشبكي أو على حوسبة محلية منفصلة. تعتمد البنية المناسبة على حجم المستندات، ومتطلبات الخصوصية، والأجهزة، وتحمل الصيانة.

النظام الأكثر موثوقية ليس الذي ينتج إجابة دائمًا، بل الذي يسترجع الأدلة الصحيحة، ويحترم الأذونات، ويربط كل ادعاء مهم بالمستند الأصلي، ويعترف عندما لا تدعم الملفات المتاحة استنتاجًا موثوقًا.

الأسئلة الشائعة

هل يمكنني البحث في ملفات PDF الخاصة باستخدام الذكاء الاصطناعي دون رفعها إلى السحابة؟

نعم. يمكن تشغيل التعرف الضوئي على الحروف، والتحليل، والتضمينات، والاسترجاع، واستدلال النموذج محليًا عندما تدعم البرامج والأجهزة المختارة ذلك.

افحص كل مكون بعناية. بعض الواجهات المستضافة ذاتيًا قد تستدعي واجهات برمجة تطبيقات تضمين السحابة أو نماذج اللغة ما لم يتم تكوينها للمعالجة المحلية.

هل أحتاج إلى نموذج لغة كبير للبحث في المستندات الداخلية؟

لا. يمكن أن يعمل البحث باسم الملف، مرشحات البيانات الوصفية، التعرف الضوئي على الحروف، البحث النصي الكامل، والاسترجاع الدلالي جميعها بدون نموذج لغوي توليدي.

يصبح LLM مفيدًا عندما يرغب المستخدمون في شروحات، ملخصات، مقارنات، أو إجابات حوارية بناءً على المقاطع المسترجعة.

هل Paperless-ngx نظام أسئلة وأجوبة للوثائق بالذكاء الاصطناعي؟

Paperless-ngx هو نظام لإدارة الوثائق، التعرف الضوئي على الحروف، البيانات الوصفية، سير العمل، والبحث. يمكنه توفير الأرشيف وأساس البحث النصي الكامل للوثائق الخاصة.

عادةً ما يتطلب RAG الحواري طبقة إضافية من التضمين، الاسترجاع، وLLM مرتبطة بالوثائق المختارة.

هل قاعدة بيانات المتجهات مطلوبة؟

ليس دائمًا. قد يعمل أرشيف صغير مع البحث النصي الكامل، التضمينات المحلية، أو فهرس أبسط.

تصبح قاعدة بيانات المتجهات أكثر فائدة عندما يكون البحث الدلالي، ترشيح البيانات الوصفية، المجموعات الأكبر، أو ضوابط الاسترجاع المتقدمة مطلوبة.

ماذا يحدث إذا قرأ التعرف الضوئي على الحروف وثيقة بشكل غير صحيح؟

قد يتم فهرسة النص غير الصحيح واسترجاعه لاحقًا كما لو كان دقيقًا. هذا يمكن أن يؤثر على نتائج البحث والإجابات المولدة.

يجب التحقق من التواريخ المهمة، الإجماليات، الأسماء، البنود، وقيم الجداول مقابل الصفحة الأصلية.

هل 16 جيجابايت من الذاكرة كافية للبحث الخاص في الوثائق؟

قد تكون كافية لإدارة الوثائق، التعرف الضوئي على الحروف، البحث النصي الكامل، التضمينات، قاعدة بيانات متجهات، ونموذج محلي صغير، حسب عبء العمل وتكوين البرنامج.

النماذج الأكبر، المستخدمون المتعددون، نوافذ السياق الطويلة، أو عدة حاويات تعمل في نفس الوقت قد تتطلب ذاكرة أكبر.

هل يجب تشغيل RAG مباشرة على NAS؟

يمكن تشغيله على NAS عندما يكون عبء العمل معتدلاً وأداء التخزين مستقرًا.

قد تكون آلة ذكاء اصطناعي منفصلة أفضل عند الفهرسة، أو التعرف الضوئي على الحروف، أو التضمينات، أو الاستدلال المحلي للنموذج إذا كان NAS بطيئًا أو صعب الصيانة.

هل يمكن لـ RAG منع الهلوسة تمامًا؟

لا. يمكن لـ RAG توفير سياق مصدر ذي صلة، لكن النموذج قد يسيء تفسير هذا السياق، أو يدمج وثائق متضاربة، أو يجيب رغم وجود أدلة غير كاملة.

استخدم مقتطفات المصدر، أسماء الملفات، مراجع الصفحات، التعامل مع عدم اليقين، والتحقق البشري.

ما هي الوثائق التي لا يجب الوثوق بها دون مراجعة يدوية؟

يجب دائمًا التحقق من الإجابات المولدة التي تتضمن معلومات طبية أو قانونية أو مالية أو تأمينية أو ضريبية أو هوية أو تعاقدية مقابل الوثائق الأصلية، وعند الاقتضاء، استشارة متخصص مؤهل.