كيف يجعل الفهرسة بالتعلّم الآلي في Immich البحث في الصور الخاصة ممكنًا

يُتيح Immich البحث في الصور من خلال تحويل الصور المُعالجة إلى تمثيلات مخزّنة يمكن مقارنتها بالاستعلامات وتصفيتها وفقًا لصلاحيات الوصول.

يتذكّر أحد الوالدين دراجة حمراء في صورة من العطلة، لكنه لا يتذكّر اسم الملف أو تاريخه، فيبحث في خادم الصور المنزلي باستخدام لغة عادية. ويتطلب الحصول على نتيجة مفيدة أكثر من مجرد الاحتفاظ بالصورة على القرص. إذ يجب أن تعمل التمثيلات البصرية، والبحث في قاعدة البيانات، ونطاق الصلاحيات معًا، بينما يحدد النموذج المختار أنواع أوجه التشابه التي يستطيع البحث التعرّف إليها.

إعداد الصورة ليس تدريبًا لنموذج

يُجري استيراد مكتبة الصور عادةً استدلالًا باستخدام نموذج موجود، ولا يدرّب نموذجًا جديدًا للأغراض العامة على مجموعة صور العائلة. يجهّز الخادم مدخلات الصور القابلة للاستخدام، ويطلب تحليلها، ويربط المعلومات المُعادة بأحد الأصول. ويوضح هذا الفرق سبب استهلاك الاستيراد الأولي للموارد الحاسوبية من دون الحاجة إلى مشروع تدريب منزلي.

يتيح الفهرسة البصرية المحلية لتطبيق صور مستضاف إنشاء تمثيلات البحث قبل أن يقدّم المستخدم استعلامًا. تستغرق العملية الأولية وقتًا لأن كل صورة مؤهلة لا تزال تحتاج إلى المعالجة. وبعد إنشاء التمثيلات، يمكن لبحث لاحق إعادة استخدامها بدلًا من تشغيل عبء تحليل الصور كاملًا على كل صورة مرة أخرى.

لذلك تقع نقطة الجاهزية بعد الرفع. فقد يكون الأصل قابلًا للقراءة قبل إتاحة تمثيله البصري. تعامل مع الفهرسة الأولية بوصفها مرحلة منفصلة، وتجنب اعتبار نجاح النقل أو ظهور معاينة مخزّنة مؤقتًا بسرعة دليلًا على اكتمال التحليل الدلالي لذلك الأصل.

تربط التضمينات الصور بالكلمات

التضمين هو تمثيل رقمي يُستخدم لمقارنة المعنى أو المحتوى البصري. ويحوّل مشفّر الصور ومشفّر النصوص المتوافق معه مدخلات مختلفة إلى تمثيلات قابلة للمقارنة. ولا يجري التحقق من عبارة البحث ببساطة مقابل اسم ملف أُنشئ سرًا، كما أن ظهور نتيجة ناجحة لا يعني أن النظام كتب وصفًا دقيقًا لكل صورة.

تعمل عملية تعلّم الصور والنصوص بالتباين على مواءمة الصور والأوصاف المرتبطة، مع الفصل بين الأزواج الأقل ارتباطًا أثناء التدريب. وعند البحث، يتيح التمثيل المدرّب إجراء مقارنات بين عبارة ومتجهات الصور المخزّنة. وهذه هي الآلية التي تتيح البحث عن المفاهيم البصرية من دون إسناد الكلمة الحرفية نفسها أولًا إلى كل صورة ذات صلة.

فعلى سبيل المثال، قد تحصل صورة لدراجة على شاطئ على ترتيب مرتفع عند استخدام عبارة وصفية، حتى لو لم تظهر أي من الكلمتين في بياناتها الوصفية. وهذا حكم على مدى الصلة، وليس دليلًا على أن الصورة تحتوي كل التفاصيل المطلوبة. فقد تغيّر الصياغة والقصّ والأجسام الصغيرة والسمات البصرية المتنافسة ترتيب النتائج، رغم بقاء الملف الأصلي دون تغيير.

تجعل قاعدة البيانات النتائج قابلة للاسترجاع

لا ينتهي مسار الاسترجاع بحساب متجه؛ إذ يجب على التطبيق تخزينه والبحث فيه إلى جانب المعلومات المتعلقة بالأصل. وتُعيد قاعدة البيانات معرّفات النتائج المرشحة، وبعد ذلك يستطيع التطبيق توفير الوسائط المطابقة. وترتبط سرعة المعالجة بزمن استجابة استرجاع قاعدة البيانات، لكنهما يظلان جزأين مستقلين يمكن قياسهما من التجربة.

يتأثر محرك البحث بالإصدار. فقد أزال Immich دعم pgvecto.rs في الإصدار 3، ويوصي بـ VectorChord بديلًا له، لذلك لا ينبغي أن تتحول مقالة معمارية قديمة تذكر pgvecto.rs إلى نصيحة لنشر حالي. والمبدأ المستدام هو الجمع بين المتجهات المخزّنة وحالة التطبيق العلائقية، لا اسم إضافة تاريخية بعينها.

ولتوضيح الحجم، تشغل 100,000 متجهات تحتوي على 512 قيمة، كل منها بأربعة بايتات، نحو 205 ميغابايت كأرقام خام. وهذا ليس تقديرًا لحجم قاعدة بيانات Immich؛ إذ تغيّر الأبعاد والأنواع والفهارس والصفوف وسجل الكتابة المسبقة الإجمالي. ويبيّن الحساب فقط سبب اختلاف التمثيل عن تخزين صورة أخرى كاملة الدقة.

-15% OFF

ZimaBoard 2 - خادم منزلي صغير لأفكارك الكبيرة

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

الأشخاص والبيانات الوصفية والبحث البصري مسارات مختلفة

يجيب البحث البصري، والتصفية وفق البيانات الوصفية، واسترجاع الأشخاص بأسمائهم عن أسئلة مختلفة. تستخدم التصفية حسب التاريخ معلومات مسجلة؛ ويرتّب البحث البصري وصفًا لمشهد؛ بينما تكتشف الميزات المتعلقة بالوجوه الوجوهَ وتجمعها، ثم يمكن للمستخدم تسمية الشخص. وتوقع أن تعمل المسارات الثلاثة جميعًا مثل المطابقة الدقيقة لأسماء الملفات يحجب سبب نجاح أحدها وإخفاق آخر.

تستفيد عملية تنظيم صور العائلة من الجمع بين هذه المسارات بدلًا من مطالبة نموذج واحد باستعادة كل معلومة. فاسم شخص وشهر تقريبي ووصف بصري تقيّد جوانب مختلفة من المجموعة. وتعتمد فائدتها على البيانات الوصفية المتاحة، واكتمال المعالجة، والصور التي يُسمح للحساب الحالي بالوصول إليها.

ويمنع هذا التمييز أيضًا خطأً يتعلق بالدقة: فالتعرّف على وجه مشابه بصريًا ليس إثباتًا مستقلًا للهوية. راجع المجموعات قبل الاعتماد على اسم، لا سيما عندما يغيّر العمر أو الإضاءة أو حجب جزء من الوجه المظهر. وأبقِ القرارات الإدارية الدقيقة أو الحساسة خارج نطاق ترتيب تشابه صُمّم للمساعدة في تصفح مكتبة صور.

للخصوصية والدقة حدود منفصلة

يمكن لنموذج محلي إبقاء تحليل الصور داخل الخادم المنزلي، لكن حدود الثقة تتبع نقطة النهاية المُهيّأة. ويعني إرسال التحليل إلى جهاز آخر أن ذلك الجهاز يعالج المدخلات المرسلة إليه. وللمسرّع البعيد على شبكة خاصة ولخدمة مستضافة مجهولة آثار مختلفة على الخصوصية، حتى لو أُطلق على كليهما اسم تعلّم آلي بعيد.

تبقى قيود النموذج منفصلة عن خصوصية النشر. ويصف بحث CLIP الأصلي نقاط ضعف في مهام مثل العدّ والتمييز الدقيق، ويحذّر من أن النتائج تعتمد على الفئات أو المطالبات المقدّمة. ولا يؤدي إبقاء الاستدلال محليًا إلى إزالة هذه القيود أو تحويل درجة التشابه إلى وصف واقعي لحدث عائلي.

يفشل ادعاء البحث الخاص إذا افترض أن الاستضافة الذاتية تؤمّن تلقائيًا كل نقطة نهاية ونسخة احتياطية وحساب وألبوم مشترك. ويفشل ادعاء البحث الدقيق إذا وعد باسترجاع شامل مهما كانت الصياغة. اذكر الحدّين معًا: من يتعامل مع المدخلات، وما الذي يستطيع التمثيل تمييزه بصورة معقولة في المجموعة المختارة.

تحقق من المسار باستخدام صور معروفة

أنشئ مجموعة مرجعية صغيرة ومصرّحًا بها، تتضمن أجسامًا واضحة ومشاهد ملتبسة وتفاصيل صغيرة وعدة أشخاص معروفين. وبعد اكتمال المعالجة، قارن بين التصفية الدقيقة للبيانات الوصفية والاستعلامات البصرية واسترجاع الأشخاص بأسمائهم. وسجّل النموذج المختار وإصدار الخادم حتى يمكن تقييم أي تغيير لاحق مقابل الأمثلة نفسها بدلًا من الاعتماد على الذاكرة.

أفادت تجربة مباشرة لتغيير النموذج بوجود اختلاف كبير في جودة البحث مع نموذج آخر مُهيّأ. وتدعم هذه الملاحظة فحص مدى الصلة باستخدام أمثلة شخصية، لا افتراض أن كل نموذج أكبر سيحسّن كل استعلام. ويجب إبقاء تكلفة العتاد وتغطية اللغات ومتطلبات إعادة المعالجة منفصلة عن شهادة متحمسة واحدة بتحسن النتائج.

اعتبر المسار مقبولًا عندما تكون الأصول التمثيلية قد أكملت المعالجة المطلوبة، ويستطيع المستخدمون المسموح لهم استرجاع الأمثلة المتوقعة، وتكون نقاط الضعف موثقة لا مخفية. وإذا عثرت البيانات الوصفية على أصل ولم تنجح الصياغة البصرية في العثور عليه، فافحص مدى الصلة قبل إعلان فقدان البيانات. وإذا أُعيد توجيه التحليل، فتحقق من المضيف المستقبِل بوصف ذلك قرارًا منفصلًا متعلقًا بالخصوصية.