تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى ثورة تقنية التعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر عملية تدريب النموذج هي المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العتبة التقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلي. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاءات خفيفة، تحتاج عملية التدريب إلى استثمار مستمر في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل أساسي في هذه المقالة.
تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث تتم جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي تتم تنسيقها بواسطة نظام تحكم موحد. إن هذه البنية التحتية العميقة المتكاملة تجعل من كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء تصل إلى ذروتها، وهي مناسبة جدًا لتدريب نماذج واسعة النطاق مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، وقابلية التحكم في الموارد، ولكن في نفس الوقت توجد مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.
التدريب الموزع هو الطريقة السائدة حاليًا لتدريب النماذج الكبيرة، حيث يكمن جوهره في تفكيك مهام تدريب النموذج ثم توزيعها على عدة أجهزة لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من أنها تمتلك خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والمزامنة لا يزال يتم بواسطة هيئة مركزية، وغالبًا ما يتم تشغيلها في بيئات الشبكة المحلية عالية السرعة، من خلال تقنية حافلة الربط عالي السرعة NVLink، حيث يقوم العقدة الرئيسية بتنسيق جميع المهام الفرعية بشكل موحد. تشمل الطرق السائدة ما يلي:
البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة تتشارك في الوزن النموذجي، تحتاج إلى مطابقة وزن النموذج
التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسع قوية
تنفيذ متسلسل على مراحل: زيادة معدل النقل
التجزئة المتوازية: تقسيم دقيق لحساب المصفوفات، تحسين حجم التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو مشابه لمدير واحد يدير عن بُعد تعاون عدة موظفين في "مكاتب" مختلفة لإكمال المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
تمثل اللامركزية في التدريب مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. السمة الأساسية لها هي: تتعاون عدة نقاط غير موثوقة لإنجاز مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آليات التحفيز المشفرة في ضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:
صعوبة تباين الأجهزة وتقسيم المهام: صعوبة تنسيق الأجهزة المتباينة، وكفاءة تقسيم المهام منخفضة
اختناق كفاءة الاتصال: الاتصال الشبكي غير مستقر، واختناق تزامن التدرج واضح
عدم وجود تنفيذ موثوق: نقص في بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب
نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، آلية التراجع عن الاستثناءات معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق ببنية النظام، وبروتوكولات الاتصال، وأمان التشفير، وآليات الاقتصاد، والتحقق من النموذج، وغيرها من الجوانب، ولكن ما إذا كان يمكن أن يكون "تعاونيًا فعالًا + تحفيزًا أمينًا + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.
تعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، مما يجعله مناسبًا للمشاهد التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب غير المركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للسيطرة" في سياقات الامتثال للخصوصية، حيث تكون المهام التدريبية، وهياكل الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من منظور نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، نظرًا لتعقيد هيكل المهمة، وارتفاع متطلبات الموارد، أو صعوبة التعاون، فإنه بطبيعته ليس مناسبًا لإكماله بكفاءة بين العقد المتنوعة والمفوضة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في شبكة مفتوحة؛ كما أن المهام التي تتعلق بخصوصية البيانات والقيود السيادية مقيدة بالقوانين والامتثال الأخلاقي، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاقًا تطبيقية واضحة في أنواع المهام التي تتميز بالهيكل الخفيف، وسهولة التوازي، والإمكانية التحفيزية. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك، تدريب وتوسيم البيانات المجمعة، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، بالإضافة إلى سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تمتاز عمومًا بخصائص عالية من حيث التوازي، وانخفاض الارتباط، والقدرة على تحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة وغيرها.
اللامركزية تدريب الكلاسيكيات مشروع تحليل
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، بالإضافة إلى استكشاف الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI غير مركزية لا تحتاج إلى ثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI لامركزي قابل للتحقق ومفتوح وآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
قيمة هيكل بروتوكول Prime Intellect وال modules الرئيسية:
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية الذي طورته Prime Intellect، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكييف أولي، ويفكك هيكليًا عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنة بعمليات التعلم تحت الإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات دون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية التحقق من سلوك التدريب خفيف الوزن
TOPLOC هي آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كانت العقدة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا تعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل تكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتناسق بين "سلسلة المراقبة ↔ تحديث الاستراتيجية". إنها تحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، مما يمثل ابتكاراً رئيسياً لتحقيق توزيع مكافآت التدريب بدون حاجة للثقة، وتوفر مساراً قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.
SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول انتشار وتجميع الوزن المصمم بواسطة Prime Intellect، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية ذات اللامركزية، المقيدة بعرض النطاق، وحالة العقد المتغيرة. يجمع بين آلية انتشار القيل والقال واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتكرار تدريب مستمر.
OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، مصمم خصيصًا للتحديات الشائعة مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد في التدريب اللامركزي. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتواصل الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل تعاوني. بالجمع بين التحديثات غير المتزامنة وآلية تحمل الأعطال، يسمح OpenDiLoCo لمعدات GPU الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير قابلية المشاركة في التدريب العالمي التعاوني، ويعتبر من البنى التحتية الأساسية للتواصل اللازمة لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسومات من الفئة الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عزز بشكل كبير من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة من خلال "آخر كيلومتر" من البنية التحتية للاتصالات.
شبكة Prime Intellect للتحفيز وتقسيم الأدوار:
بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، مزودة بآلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاث فئات من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
INTELLECT-2:الإصدار الأول لنموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة تعاون غير متزامن وغير موثوق به بين العقد اللامركزية، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU هتروغينية موزعة على ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، حيث استمر التدريب لأكثر من 400 ساعة، مما يبرز إمكانية وثبات شبكة التعاون غير المتزامن. لا يعد هذا النموذج مجرد اختراق في الأداء، ولكنه أيضًا أول تطبيق نظامي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة انفتاح وموثوقية وإغلاق الحوافز الاقتصادية في عملية التدريب.
من حيث الأداء، يعتمد INTELLECT-2 على QwQ-32B وتم تدريبه بشكل خاص على RL في البرمجة والرياضيات، مما يجعله في طليعة نماذج RL مفتوحة المصدر. على الرغم من أنه لم يتجاوز بعد نماذج مغلقة المصدر مثل GPT-4 أو Gemini، إلا أن معناه الحقيقي
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 11
أعجبني
11
4
مشاركة
تعليق
0/400
RektButStillHere
· منذ 17 س
أيوه لا يصدق، المركزية إلى اللامركزية، التقنية هي شراء الصندوق وترك الجواهر.
شاهد النسخة الأصليةرد0
ZKProofEnthusiast
· 08-06 04:17
مثل مفهوم web3، اللامركزية للذكاء الاصطناعي هي ما ينتمي إليه.
نموذج جديد لتدريب الذكاء الاصطناعي: من التحكم المركزي إلى التطور التكنولوجي للتعاون اللامركزي
تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى ثورة تقنية التعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر عملية تدريب النموذج هي المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العتبة التقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلي. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاءات خفيفة، تحتاج عملية التدريب إلى استثمار مستمر في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل أساسي في هذه المقالة.
تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث تتم جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي تتم تنسيقها بواسطة نظام تحكم موحد. إن هذه البنية التحتية العميقة المتكاملة تجعل من كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء تصل إلى ذروتها، وهي مناسبة جدًا لتدريب نماذج واسعة النطاق مثل GPT وGemini، حيث تتمتع بمزايا الكفاءة العالية، وقابلية التحكم في الموارد، ولكن في نفس الوقت توجد مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.
التدريب الموزع هو الطريقة السائدة حاليًا لتدريب النماذج الكبيرة، حيث يكمن جوهره في تفكيك مهام تدريب النموذج ثم توزيعها على عدة أجهزة لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحساب والتخزين على جهاز واحد. على الرغم من أنها تمتلك خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والمزامنة لا يزال يتم بواسطة هيئة مركزية، وغالبًا ما يتم تشغيلها في بيئات الشبكة المحلية عالية السرعة، من خلال تقنية حافلة الربط عالي السرعة NVLink، حيث يقوم العقدة الرئيسية بتنسيق جميع المهام الفرعية بشكل موحد. تشمل الطرق السائدة ما يلي:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو مشابه لمدير واحد يدير عن بُعد تعاون عدة موظفين في "مكاتب" مختلفة لإكمال المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
تمثل اللامركزية في التدريب مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. السمة الأساسية لها هي: تتعاون عدة نقاط غير موثوقة لإنجاز مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آليات التحفيز المشفرة في ضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق ببنية النظام، وبروتوكولات الاتصال، وأمان التشفير، وآليات الاقتصاد، والتحقق من النموذج، وغيرها من الجوانب، ولكن ما إذا كان يمكن أن يكون "تعاونيًا فعالًا + تحفيزًا أمينًا + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.
تعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، مما يجعله مناسبًا للمشاهد التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب غير المركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للسيطرة" في سياقات الامتثال للخصوصية، حيث تكون المهام التدريبية، وهياكل الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من منظور نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، نظرًا لتعقيد هيكل المهمة، وارتفاع متطلبات الموارد، أو صعوبة التعاون، فإنه بطبيعته ليس مناسبًا لإكماله بكفاءة بين العقد المتنوعة والمفوضة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في شبكة مفتوحة؛ كما أن المهام التي تتعلق بخصوصية البيانات والقيود السيادية مقيدة بالقوانين والامتثال الأخلاقي، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاقًا تطبيقية واضحة في أنواع المهام التي تتميز بالهيكل الخفيف، وسهولة التوازي، والإمكانية التحفيزية. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك، تدريب وتوسيم البيانات المجمعة، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، بالإضافة إلى سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تمتاز عمومًا بخصائص عالية من حيث التوازي، وانخفاض الارتباط، والقدرة على تحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة وغيرها.
اللامركزية تدريب الكلاسيكيات مشروع تحليل
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، بالإضافة إلى استكشاف الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI غير مركزية لا تحتاج إلى ثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI لامركزي قابل للتحقق ومفتوح وآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
قيمة هيكل بروتوكول Prime Intellect وال modules الرئيسية:
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية الذي طورته Prime Intellect، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكييف أولي، ويفكك هيكليًا عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنة بعمليات التعلم تحت الإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات دون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية التحقق من سلوك التدريب خفيف الوزن
TOPLOC هي آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كانت العقدة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا تعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل تكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتناسق بين "سلسلة المراقبة ↔ تحديث الاستراتيجية". إنها تحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، مما يمثل ابتكاراً رئيسياً لتحقيق توزيع مكافآت التدريب بدون حاجة للثقة، وتوفر مساراً قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية يمكن تدقيقها وتحفيزها.
SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول انتشار وتجميع الوزن المصمم بواسطة Prime Intellect، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية ذات اللامركزية، المقيدة بعرض النطاق، وحالة العقد المتغيرة. يجمع بين آلية انتشار القيل والقال واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتكرار تدريب مستمر.
OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، مصمم خصيصًا للتحديات الشائعة مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد في التدريب اللامركزي. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتواصل الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج بشكل تعاوني. بالجمع بين التحديثات غير المتزامنة وآلية تحمل الأعطال، يسمح OpenDiLoCo لمعدات GPU الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير قابلية المشاركة في التدريب العالمي التعاوني، ويعتبر من البنى التحتية الأساسية للتواصل اللازمة لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسومات من الفئة الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عزز بشكل كبير من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة من خلال "آخر كيلومتر" من البنية التحتية للاتصالات.
شبكة Prime Intellect للتحفيز وتقسيم الأدوار:
بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، مزودة بآلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاث فئات من الأدوار الأساسية:
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
INTELLECT-2:الإصدار الأول لنموذج تدريب قابل للتحقق اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة تعاون غير متزامن وغير موثوق به بين العقد اللامركزية، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU هتروغينية موزعة على ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، حيث استمر التدريب لأكثر من 400 ساعة، مما يبرز إمكانية وثبات شبكة التعاون غير المتزامن. لا يعد هذا النموذج مجرد اختراق في الأداء، ولكنه أيضًا أول تطبيق نظامي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة انفتاح وموثوقية وإغلاق الحوافز الاقتصادية في عملية التدريب.
من حيث الأداء، يعتمد INTELLECT-2 على QwQ-32B وتم تدريبه بشكل خاص على RL في البرمجة والرياضيات، مما يجعله في طليعة نماذج RL مفتوحة المصدر. على الرغم من أنه لم يتجاوز بعد نماذج مغلقة المصدر مثل GPT-4 أو Gemini، إلا أن معناه الحقيقي