ما هو تقسيم النموذج، ولماذا يهم بالنسبة لحدود ذاكرة الذكاء الاصطناعي المنزلي؟
يُوزّع تقسيم النموذج حالة النموذج المطلوبة عبر أجهزة متعددة، بحيث يمكن تحميل نموذج تتجاوز سعته ذاكرة مُسرّع واحد وتنفيذه.
بالنسبة إلى خادم ذكاء اصطناعي منزلي، لا يتمثل السؤال المهم في ما إذا كانت نقطة التحقق قد وصلت على هيئة عدة ملفات، بل في ما إذا كانت الأوزان أو الطبقات أو الموترات أو الحالات الأخرى أثناء التشغيل موزعة فعليًا على أجهزة مختلفة. يمكن أن يحوّل التقسيم متطلب ذاكرة مستحيلًا على وحدة معالجة رسومات واحدة إلى نشر عملي على عدة أجهزة، لكن الأجزاء المقسّمة لا تزال بحاجة إلى تبادل البيانات أو تمرير العمل بين المراحل، لذا تصبح سرعة الاتصال، وعدم توازن الأجهزة، ودعم بيئة التشغيل هي القيود التالية.
يُوزّع التقسيم أثناء التشغيل حالة النموذج عبر الأجهزة
يحتوي النموذج قيد التشغيل على موترات يجب أن تكون متاحة عند تنفيذ طبقاته. يغيّر التقسيم موضع البيانات بحيث تمتلك الأجهزة المختلفة أجزاءً مختلفة، بدلًا من تكرار الحالة كاملة على كل جهاز.
يمكن للموتر الموزّع استخدام وضع الموترات المقسّمة، الذي يوزّع الأبعاد الموزّعة عبر شبكة من الأجهزة بدلًا من تخزينها بصورة متطابقة في كل رتبة.
تتمثل فائدة الذاكرة المباشرة في انخفاض مقدار الذاكرة المقيمة على كل جهاز. أما تكلفة النظام فهي أن أي جهاز لم يعد يمتلك جميع البيانات اللازمة لكل عملية، ولذلك يصبح التنسيق جزءًا من الاستدلال.
أجزاء نقطة التحقق ليست هي نفسها نموذجًا مقسّمًا أثناء التشغيل
غالبًا ما تقسّم مستودعات النماذج الكبيرة نقطة التحقق إلى العديد من الملفات، حتى يمكن تنزيلها وتحميلها تدريجيًا. لكن قرار التغليف هذا لا يحدد بحد ذاته مكان وجود الموترات بعد أن تنتهي بيئة التشغيل من تحميلها.
يبقى تقسيم الملفات ووضع البيانات أثناء التشغيل منفصلين، لأن أداة التحميل يمكنها الجمع بين نقاط التحقق المقسّمة وتوزيعها عبر أجهزة متعددة.
لذلك قد يرى المستخدم المنزلي عشرات الأجزاء بامتداد `.safetensors` على القرص، بينما لا تزال بيئة التشغيل تحاول وضع النموذج كاملًا على وحدة معالجة رسومات واحدة. وبالعكس، يمكن لبيئة التشغيل إعادة تقسيم نقطة التحقق إلى تخطيط مختلف متعدد الأجهزة أثناء التحميل.
ينبغي أن يفحص تخطيط السعة خريطة الأجهزة الفعلية والتخصيصات المقيمة بعد بدء التشغيل، بدلًا من افتراض أن عدد ملفات المستودع يكشف بنية الاستدلال.
يضيف التقسيم اتصالًا أو تمريرًا بين المراحل
عندما ينتج جهاز ما قيمًا يحتاج إليها جزء موجود على جهاز آخر، يجب أن تعبر البيانات رابط اتصال أو تُزامَن من خلال عملية جماعية. وتعتمد حركة البيانات الدقيقة على ما إذا كانت بيئة التشغيل تقسم الموترات داخل الطبقات، أو تضع نطاقات مختلفة من الطبقات على أجهزة مختلفة، أو تجمع الحالة المقسّمة عند الحاجة فقط.
تُجري استراتيجيات الاستدلال متعدد الأجهزة المختلفة مفاضلات مختلفة بين أنماط الاتصال ووضع البيانات في الذاكرة.
لهذا السبب قد تظل وحدتا معالجة رسومات تملكان سعة ذاكرة فيديو مجمعة كافية غير قادرتين على تقديم النموذج بسرعة. فقد يهيمن نقل التنشيطات أو مزامنة النتائج الجزئية عندما يكون PCIe أو أي رابط آخر أبطأ بكثير من ذاكرة المُسرّع المحلية.
قد تحوّل الأجهزة غير المتساوية جزءًا واحدًا إلى عنق زجاجة
قد يجمع خادم منزلي غير متجانس وحدات معالجة رسومات تختلف في سعة الذاكرة أو معدل الحوسبة أو عرض نطاق الرابط أو الجيل. وحتى التقسيم المتساوي رياضيًا قد يترك الجهاز الأبطأ أو الأصغر هو الذي يحدد سرعة الطلب بأكمله.
لذلك يجب أن تراعي أدوات وضع الطبقات والتفريغ سعة كل جهاز فعليًا، بدلًا من افتراض أن العتاد متماثل. ويستخدم تنفيذ النماذج الموزّع إعدادًا صريحًا للتوازي، بدلًا من تجريد تلقائي للذاكرة المجمّعة.
قد يمنح التخطيط العملي وحدة معالجة الرسومات الأكبر عددًا أكبر من الطبقات، أو يُبقي المكونات الحساسة لزمن الاستجابة على المسار الأسرع. والهدف ليس تساوي عدد الأجزاء، بل تحقيق مسار حرج متوازن يستوعبه كل جهاز.
قِس الذاكرة المستخدمة على كل جهاز، ومعدل الاستخدام، ووقت النقل، وفترات الخمول، باستخدام الطلب نفسه. فالجزء الذي ينتظر باستمرار أو يضطر إلى تفريغ البيانات دليل على أن البنية، لا إجمالي ذاكرة الفيديو الخام، هي التي تحد الأداء.
تكتسب عملية تقسيم النموذج أهميتها أولًا كأداة للتحقق من إمكانية استيعاب الذاكرة
يكون التقسيم أكثر قيمة عندما يتعذر تحميل النموذج غير المقسّم على جهاز واحد أصلًا. وبمجرد أن يصبح النموذج قابلًا للتحميل، ينتقل التركيز في التحسين إلى تكلفة الاتصال، وحجم الدفعة، ووضع ذاكرة KV، وما إذا كان استخدام نموذج أصغر أو نموذج مكمّم سيكون أبسط.
تتمثل إحدى استراتيجيات الحوسبة المحددة في استدلال التوازي الموترِي؛ أما تقسيم النموذج فهو مشكلة الوضع الأوسع التي تسأل عن الحالة المطلوبة التي يجب أن توجد على كل جهاز.
لا تتعامل مع إجمالي ذاكرة الفيديو باعتباره تجمعًا شفافًا واحدًا. يمكن للتقسيم أن يجعل ذواكر منفصلة تعمل معًا، لكن لكل بيئة تشغيل قواعد وضع وتكاليف اتصال تحدد ما إذا كان النشر الناتج مفيدًا.
الأسئلة الشائعة
هل نقطة التحقق المقسّمة هي نفسها نموذج مقسّم أثناء التشغيل؟
لا. تقسّم أجزاء نقطة التحقق الملفات لأغراض التخزين أو التحميل، بينما يحدد التقسيم أثناء التشغيل أي جزء من حالة النموذج يوجد على كل جهاز خلال الاستدلال.
هل تقسيم النموذج هو نفسه التوازي الموترِي؟
لا. التوازي الموترِي هو إحدى طرق تنفيذ نموذج مقسّم عبر تقسيم عمليات الموترات؛ بينما يشمل التقسيم أيضًا استراتيجيات وضع الطبقات أو المراحل أو المعلمات أو غيرها.
هل توفر وحدتا معالجة رسومات بسعة 12 GB تلقائيًا تجمعًا واحدًا قابلًا للاستخدام بسعة 24 GB؟
لا. يجب أن تقسّم بيئة التشغيل النموذج صراحةً، كما أن الاتصال والحالة المكررة وذاكرة KV والهامش المتاح لكل جهاز تقلل من مقدار السعة المجمعة القابل للاستخدام عمليًا.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما هي حالة Plex، وما الأجزاء التي يجب استمرارها؟
حالة Plex الدائمة هي المعلومات التي تحافظ على تجربة الخادم بعد إعادة التشغيل وإعادة البناء؛ أما الوسائط وبيانات التحويل المؤقتة فلها أدوار منفصلة.
كيف يتعامل Plex مع المصادقة في الجلسات المحلية والبعيدة؟
تبدأ المصادقة في Plex بهوية الخادم والحساب، ثم تحدد مسارات الشبكة المحلية أو البعيدة إمكانية الوصول وسلوك الاتصال الآمن.
لماذا قد يتباطأ البحث في Plex مع نمو بيانات المكتبة؟
نمو المكتبة وحده ليس التشخيص. اختبر بنية الاستعلام، والفهارس، وحالة ذاكرة التخزين المؤقت، وزمن استجابة وحدة التخزين، ونشاط الكتابة قبل إلقاء اللوم على حجم...
