لماذا يغيّر دقّة الصور عبء تشغيل الذكاء الاصطناعي المنزلي متعدد الوسائط؟
تغيّر دقة الصورة حجم الحمل على الذكاء الاصطناعي متعدد الوسائط، لأن المدخلات الأكبر عادةً ما تنشئ عددًا أكبر من الرقع البصرية والقصاصات والرموز وعمليات الانتباه قبل توليد النص.
قد يجيب خادم ذكاء اصطناعي منزلي بسرعة عن صورة هاتف مُعاد تحجيمها، لكنه قد يتباطأ مع لقطة شاشة بدقتها الكاملة، أو صفحة ممسوحة ضوئيًا، أو صورة بانورامية، أو طلب يتضمن صورًا متعددة. ولا يُمرَّر عدد وحدات البكسل الأصلي دائمًا مباشرةً إلى نموذج اللغة؛ إذ تعيد وحدة ترميز الرؤية تحجيم الصورة وقصّها وتقسيمها إلى مربعات، ثم تحوّلها إلى رموز بصرية. وتحدد استراتيجية المعالجة المسبقة المختارة مقدار التفاصيل الدقيقة التي تبقى، وحجم الحوسبة والذاكرة ومساحة السياق ووقت الانتظار في الطابور الذي يستهلكه الطلب.
تحوّل المحوّلات البصرية وحدات البكسل إلى رموز رقعية
تقسّم وحدة ترميز الرؤية الصورة عادةً إلى رقع ثابتة الحجم، ثم تحوّل كل رقعة إلى تضمين وتعالج التسلسل الناتج باستخدام طبقات المحوّل.
تتعامل ورقة Vision Transformer مع الصورة على أنها تسلسل من الرقع بدلًا من كونها مدخلًا واحدًا غير قابل للتجزئة.
عند ثبات حجم الرقعة، تؤدي زيادة عرض الصورة وارتفاعها معًا إلى إنشاء عدد أكبر من الرقع بما يتناسب مع مساحة الصورة. لذلك قد تؤدي مضاعفة كل بُعد إلى إنتاج نحو أربعة أضعاف عدد الرقع الأولية قبل إجراء التجميع أو الضغط لاحقًا.
قد تزيل المعالجة المسبقة وحدات بكسل عبر إعادة التحجيم أو تحافظ عليها بالتقسيم إلى مربعات
تعيد بعض مسارات المعالجة تحجيم كل صورة إلى دقة ثابتة لوحدة الترميز. ويبقى عدد الرموز ثابتًا، لكن النصوص الصغيرة والأجسام الدقيقة قد تختفي أثناء تقليل الحجم.
يستخدم LLaVA-UHD التقسيم بالدقة الأصلية لتجزئة الصور الكبيرة إلى أقسام متفاوتة الحجم وتنظيم الرموز البصرية الناتجة.
يحافظ التقسيم إلى مربعات على التفاصيل المحلية عبر معالجة عدة قصاصات، لكن كل قصاصة إضافية تكرر عمل وحدة ترميز الرؤية وتضيف رموزًا أو ميزات مضغوطة إلى نموذج اللغة.
وقد ينتج ملفان لهما العدد نفسه من الميغابكسلات مخططات قص مختلفة أيضًا، لأن نسبة العرض إلى الارتفاع وقواعد اختيار الشبكة في بيئة التشغيل تحددان عدد المربعات المطلوبة.
قد تضاعف الدقة الأعلى عدد الرموز البصرية داخل نموذج اللغة
بعد ترميز الرؤية، يحوّل الإسقاط ميزات الصورة إلى رموز متوافقة مع نموذج اللغة. وتشغل هذه الرموز مواضع في السياق إلى جانب نص المستخدم والإجابة المُولَّدة.
يوضح LLaVA-OneVision أن مراحل AnyRes تزيد عدد الرموز البصرية مع ارتفاع الدقة المدعومة.
تزيد الرموز البصرية الإضافية من عمل التمهيد المسبق للمطالبة، واحتياجات ذاكرة KV cache، ومقدار السياق المتاح للصورة بدلًا من تعليمات المستخدم أو المستندات المسترجعة.
لذلك قد تبطئ الصورة عالية الدقة جانب اللغة حتى بعد انتهاء وحدة ترميز الرؤية من عملها.
تعتمد تكلفة الانتباه على موضع ضغط الرموز
إذا عالجت وحدة ترميز الرؤية كل رقعة باستخدام انتباه ذاتي كامل، فقد ترتفع تكلفتها الداخلية بسرعة مع زيادة عدد الرقع. وإذا تلقى نموذج اللغة كل رمز بصري، فستزداد أيضًا كلفة التمهيد المسبق متعدد الوسائط.
تشير أبحاث تسريع المعالجة عالية الدقة إلى أن AnyRes قد ينشئ عددًا من الرموز يزيد بثلاثة إلى خمسة أضعاف مقارنةً بالمعالجة منخفضة الدقة.
يمكن لتجميع الرموز وإعادة أخذ العينات والضغط المتعلَّم وإعادة معالجة القصاصات المحددة أن تقلل التسلسل قبل وصوله إلى نموذج اللغة. ويعتمد مقدار التوفير في الحوسبة على ما إذا كان الضغط يحدث قبل المرحلة المكلفة أم بعدها.
يقلل ضغط الدقة من قدرة الذكاء الاصطناعي المنزلي على تشغيل مهام متزامنة
قد يشغل طلب صورة كبيرة ذاكرة وحدة ترميز الرؤية وموترات الصور المؤقتة وذاكرة KV cache لنموذج اللغة ووقت المعالج المسرّع، بينما تنتظر محادثات منزلية أخرى.
يستكشف LLaVA-Mini ضغط الرموز البصرية لأن الرموز الصورية الزائدة ترفع تكلفة الاستدلال متعدد الوسائط.
يوضح الاستعراض المحلي للذكاء الاصطناعي من ZimaSpace أن قدرة الذكاء الاصطناعي المحلي تعتمد على نوع الحمل، لا على تسمية الذكاء الاصطناعي وحدها.
قد يستوعب خادم يدعم عدة محادثات نصية عددًا أقل من طلبات الصور المتزامنة، لا سيما عندما تستخدم كل صورة وضع تقسيم إلى مربعات عالي التفاصيل.
اختر الدقة بناءً على الأدلة التي يجب أن تحافظ عليها المهمة
قد ينجح تصنيف المشاهد واكتشاف الصور المكررة ووضع العلامات العامة على الصور بعد تقليل الحجم بشدة. لكن تقنية OCR والمخططات ولقطات واجهات المستخدم والإيصالات وفحص الأجسام الصغيرة تتطلب غالبًا تفاصيل أكثر أو قصاصات مستهدفة.
يوضح CARES أن اختيار الدقة التكيفي يمكن أن يتجنب معالجة كل صورة بأعلى دقة متاحة.
اختبر عدة درجات دقة باستخدام الصور والأسئلة نفسها. وسجّل دقة الإجابة، واكتمال OCR، وعدد الرموز البصرية، وذروة استهلاك الذاكرة، ووقت ظهور أول رمز، والتأثير في محادثة أخرى متزامنة.
الإعداد المفيد هو أقل دقة أو استراتيجية قص تحافظ على الأدلة التي يحتاج إليها سير العمل. ولا تكون وحدات البكسل الإضافية ذات قيمة إلا عندما يتمكن النموذج من تحويلها إلى نتائج أفضل للمهمة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
لماذا تصبح تنبؤات المنزل الذكي أقل دقة بعد تغيّر الروتين الموسمي؟
تغيّر الروتينات الموسمية العلاقة بين الوقت وأجهزة الاستشعار والإشغال والإجراءات المطلوبة، مما يجعل النموذج المدرَّب على العادات الأقدم متقادماً.
لماذا يفوّت جهاز NVR المنزلي الأحداث القصيرة عند تفعيل تتبّع الأجسام؟
يحتاج التتبع إلى عدد كافٍ من عمليات الكشف لبدء المسار وتأكيده، لذا قد يختفي جسم لفترة وجيزة قبل أن ينشئ جهاز تسجيل الفيديو الشبكي...
لماذا تتغير تسميات الصور بالذكاء الاصطناعي بعد ترقية النموذج؟
يغيّر ترقية النموذج التمثيلَ والترتيبَ المستخدمَين لتعيين التصنيفات، لذا قد تتجاوز الصورة نفسها حدودًا دلالية أو حدود ثقة مختلفة.
