ما هو التضمين متعدد الوسائط، ومتى يكون مهمًا للبحث في الوسائط المنزلية؟
يمثّل التضمين متعدد الوسائط أنواعًا مختلفة من الوسائط في فضاء متجهات دلالي قابل للمقارنة، بحيث يمكن لاستعلام في إحدى الوسائط استرجاع محتوى من وسيط آخر.
في أرشيف منزلي، قد يعني ذلك كتابة «دراجة حمراء بجوار المرآب» واسترجاع صور أو إطارات فيديو حتى عندما لا يحتوي أي اسم ملف أو وصف توضيحي على هذه الكلمات. لا تكمن الفائدة في أن للصور والنصوص تضمينات كلٌّ منها فحسب؛ بل يجب أن تكون تمثيلاتها متراصفة بما يكفي بحيث يكون للتشابه بين الوسائط معنى. يصبح هذا الأمر ذا قيمة عندما تكون البيانات الوصفية للوسائط محدودة، لكنه يضيف أيضًا مفاضلات تتعلق بالفهرسة والدقة واحتمال المطابقات الخاطئة.
تُسقط التضمينات متعددة الوسائط المدخلات المختلفة في فضاء قابل للمقارنة
يمكن لمشفّر نصوص ومشفّر للصور أو الصوت أو الفيديو إنتاج متجهات تُدرَّب هندستها بحيث تقع المدخلات المرتبطة دلاليًا بالقرب من بعضها. وهذا التراصف هو ما يتيح مقارنة استعلام نصي مباشرة بالتمثيلات المرئية أو الصوتية.
يمكن للإشراف باستخدام اللغة الطبيعية إنتاج تمثيلات مرئية-لغوية متراصفة تدعم المقارنة بين الصور والنصوص دون تدريب خاص على الفئة.
لذلك يمكن لفهرس وسائط منزلي تخزين تضمينات الصور وترميز عبارة بحث باستخدام مشفّر النصوص المقترن. ولا تزال قاعدة البيانات تُجري بحثًا عن التشابه بين المتجهات، لكن المتجهات أصبحت الآن تربط بين الوسائط بدلًا من تمثيل النص وحده.
يتيح الفضاء المشترك الاسترجاع بين الوسائط
تمتد الفكرة نفسها إلى ما هو أبعد من الصورة والنص عندما يُدرَّب نموذج على تراصف عدة وسائط حول محتوى دلالي مرتبط. عندها يمكن مقارنة صوت وصورة ووصف، رغم أن صيغها الأولية لا تشترك في رموز أو وحدات بكسل.
يمكن أن يتضمن التضمين المشترك عبر عدة وسائط الصور والنصوص والصوت والعمق والحرارة والإشارات بالقصور الذاتي.
وبالنسبة إلى أرشيف خاص، يتيح ذلك عمليات بحث مثل العثور على مقاطع تحتوي على كلب ينبح انطلاقًا من عبارة نصية، أو تجميع المقاطع الصوتية والصور حول الحدث نفسه. ويعتمد الدعم على الوسائط الفعلية التي تعلّمها النموذج المختار، لا على ادعاء عام بأن كل متجه قابل للتشغيل البيني.
تستخدم عائلات التضمين المختلفة أيضًا أبعادًا وهندسات مختلفة، لذلك لا ينبغي خلط متجهات من نماذج غير مرتبطة في فضاء تشابه واحد، إلا إذا كان النظام يتعلّم التراصف أو يطبّقه صراحةً.
يحتاج الفيديو عادةً إلى تمثيلات على مستوى الإطار أو المقطع
يحتوي الفيديو الطويل على مشاهد وأجسام ومتحدثين وأفعال عديدة، لذا قد يؤدي استخدام متجه واحد للملف بأكمله إلى طمس اللحظة التي يريد المستخدم استرجاعها. ويحتاج البحث في الوسائط المنزلية عادةً إلى تمثيلات للإطارات أو اللقطات أو المقاطع أو الأجزاء المجمّعة زمنيًا.
يمكن لنموذج موحّد أن يضع النص والصورة والفيديو والصوت في فضاء استرجاع مشترك، لكن التطبيق لا يزال يختار الوحدة الزمنية التي ستصبح سجلًا قابلًا للبحث.
يمكن لمقطع مدته عشر ثوانٍ أن يحافظ على سياق الحركة أفضل من إطار معزول، بينما تزيد تضمينات الإطارات الكثيفة من مساحة التخزين وتكرر المحتوى شبه المتطابق. وتعتمد الدقة المناسبة على ما إذا كان الأرشيف يبحث عن الأجسام أو المشاهد أو الأشخاص أو الأصوات أو الأحداث.
التشابه بين الوسائط دليل دلالي، وليس إثباتًا للهوية
تعني درجة التشابه المرتفعة أن النموذج وجد دلالات مترابطة وفق هدف التدريب الخاص به. لكنها لا تثبت أن سجلين يعرضان الشخص نفسه أو المنتج نفسه بالضبط أو الحدث نفسه، وقد تخلط بين محتوى منزلي متشابه بصريًا أو مفاهيميًا.
حتى مع المتجهات المطَبَّعة بأسلوب CLIP، تعكس هندسة التضمين تشابهًا متعلَّمًا، لا علاقة هوية مُتحقَّقًا منها.
استخدم البيانات الوصفية والطوابع الزمنية وهوية الكاميرا ونماذج مخصصة للوجوه أو الأجسام والمراجعة البشرية عندما يحتاج التطبيق إلى دليل أقوى من الاسترجاع الدلالي.
هذا الحد مهم بالنسبة إلى لقطات كاميرات المراقبة المنزلية. فقد يُظهر البحث النصي عن «مندوب توصيل» مقاطع محتملة، لكنه لا ينبغي أن يتحول بمفرده إلى قرار للتحكم في الوصول أو تحديد الهوية.
تكتسب التضمينات متعددة الوسائط أهميتها عندما تكون البيانات الوصفية غير مكتملة
قد يكون من السهل بالفعل البحث في الألبومات المصنفة جيدًا التي تحتوي على أوصاف توضيحية وتواريخ ووسوم موثوقة للأشخاص. وتضيف التضمينات متعددة الوسائط أكبر قيمة عندما يحتوي المحتوى المرئي أو الصوتي على معنى مفيد لم يُكتب قط في البيانات الوصفية.
يمكن لطبقة تنظيم الوسائط الخاصة استخدام التضمينات متعددة الوسائط كإحدى أدوات الاسترجاع للمحتوى الذي لا تستطيع أسماء الملفات والمجلدات وصفه.
قِس أداء الاسترجاع باستخدام استعلامات خاصة ببيئتك المنزلية قبل تضمين كل إطار في أرشيف كبير. ولا تكون الزيادة في عدد المتجهات ومساحة التخزين وجهد الفهرسة مبررة إلا عندما يعثر البحث بين الوسائط على محتوى مفيد تفوّتُه البيانات الوصفية الحالية.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
كيف يؤثر تقليل عينات السلاسل الزمنية على اكتشاف الحالات الشاذة في المنازل الذكية؟
تعرّف على كيفية تأثير عرض الفواصل، والتجميع، ومنع التعرّج، والبيانات المفقودة، ومدة الأحداث، والاحتفاظ متعدد المقاييس في استدعاء الحالات الشاذة للمنزل الذكي.
كيف تدمج شبكة الإشغال إشارات المنزل الذكي الضعيفة؟
تعرّف على كيفية تحويل الخلايا المكانية، ونماذج المستشعرات، وتحديثات لوغاريتم نسب الترجيح، والاضمحلال، والأدلة المترابطة، والعتبات، للإشارات المنزلية الضعيفة إلى تقديرات للإشغال.
كيف يؤثر التطبيع الفوتومتري في تجميع الوجوه الخاصة؟
تعرّف على كيفية تغيّر تصحيح الإضاءة لقصاصات الوجوه، والتمثيلات المتجهية، ومسافات العناقيد، والعتبات، وفرط التطبيع، وتقييم البحث في الصور الخاصة.
