صعود التعلم المعزز اللامركزي: التفضيل المباشر يلتقي ببنية ويب3

مشهد الذكاء الاصطناعي يشهد تحولًا عميقًا. بينما تركز معظم المناقشات على توسيع معلمات النموذج، يكمن الثور الحقيقي في كيفية تعلم الذكاء الاصطناعي، وتوافق قيمه، وتوزيع فوائد تلك الذكاء. يمثل التعلم المعزز المدمج مع بنية Web3 أكثر من مجرد تحسين تقني—إنه يشير إلى إعادة هيكلة جوهرية لعلاقات إنتاج الذكاء الاصطناعي. أصبح تحسين التفضيلات المباشر وغيرها من منهجيات ما بعد التدريب محورًا مركزيًا لهذا التحول، متجاوزًا الأساليب المركزية التقليدية لتمكين أنظمة تعلم موزعة حقًا وقابلة للتحقق ومحفزة.

في جوهره، ينبع هذا التحول من اعتراف بأن الذكاء الاصطناعي يتطور من مطابقة أنماط إحصائية نحو التفكير المنظم. أظهرت أنظمة مثل DeepSeek-R1 أن تقنيات التعلم المعزز بعد التدريب يمكنها تحسين قدرات التفكير واتخاذ القرار المعقد بشكل منهجي، ولم تعد مجرد أداة للمطابقة بل كطريق لتعزيز الذكاء الحقيقي. في الوقت نفسه، تتوافق شبكات الحوسبة اللامركزية في Web3 وآليات الحوافز التشفيرية تمامًا مع متطلبات التقنية في التعلم المعزز، مما يخلق تقاربًا طبيعيًا يتحدى نموذج تطوير الذكاء الاصطناعي المركزي.

لماذا يهم الآن (تحسين ما بعد التدريب بما في ذلك تحسين التفضيلات المباشر)

يتكون خط أنابيب تدريب نماذج اللغة الحديثة من ثلاث مراحل مميزة، كل منها يتطلب متطلبات حسابية ومعمارية مختلفة. يتطلب التدريب المسبق، الذي يبني النموذج العالمي الأساسي من خلال تعلم غير مراقب ضخم، مركزية قصوى—حيث يتطلب مجموعات متزامنة من عشرات الآلاف من وحدات معالجة الرسوميات (GPU) ويشكل 80-95% من التكاليف الإجمالية. يتبع ذلك التوليف الموجه، الذي يضيف قدرات محددة للمهمة بتكلفة معتدلة (5-15%)، لكنه لا يزال يتطلب تزامن التدرجات الذي يحد من إمكانيات اللامركزية.

يمثل ما بعد التدريب الحد الذي يكتسب فيه أنظمة الذكاء الاصطناعي القدرة على التفكير، وتوافق القيم، وتحديد حدود الأمان. تشمل هذه المرحلة منهجيات متعددة: التعلم المعزز التقليدي من ملاحظات الإنسان (RLHF)، أنظمة الملاحظات المدفوعة بالذكاء الاصطناعي (RLAIF)، تحسين التفضيلات المباشر (DPO)، ونماذج مكافأة العمليات (PRM). من بين هذه الأساليب، برز تحسين التفضيلات المباشر كحل أنيق يتجاوز الحاجة إلى تدريب نماذج مكافأة مكلف، من خلال تحسين مخرجات النموذج مباشرة مقابل أزواج التفضيل—بديل منخفض التكلفة أصبح سائدًا في جهود التوافق مفتوحة المصدر. ومع ذلك، يمتد ما بعد التدريب إلى ما هو أبعد من أي تقنية واحدة.

ما يميز ما بعد التدريب عن المراحل السابقة هو هيكلها. على عكس حاجة التدريب المسبق لمجموعات GPU متزامنة ومتجانسة، يفصل ما بعد التدريب بشكل طبيعي إلى توليد بيانات متوازية (يسمى “الانتفاضات”) وتحديثات سياسة مركزة. تجعل هذه الخاصية المعمارية النظام مناسبًا بشكل استثنائي للشبكات اللامركزية. يمكن لعقد الحوسبة حول العالم توليد سلاسل تفكير متنوعة وبيانات تفضيل بشكل غير متزامن، بينما تقوم مجموعة أصغر من عقد التدريب بتحديث الأوزان. مع آليات التحقق التشفيرية والحوافز المعتمدة على الرموز، تتيح هذه المعمارية أول سوق تدريب ذكاء اصطناعي مفتوح المصدر حقًا.

تحليل الهيكلية: الفصل، التحقق، وتصميم الحوافز

ينبع التآزر التقني بين التعلم المعزز وWeb3 من ثلاثة أعمدة معمارية: الفصل، التحقق، والحوافز الرمزية.

فصل الاستنتاج عن التدريب يفصل بين تحديثات المعلمات المكلفة ومرحلة توليد البيانات المتوازية. في التعلم المعزز التقليدي، يقوم عمال الانتفاضات بتوليد مسارات الخبرة بينما يجمع المتعلم هذه البيانات لتحديث السياسة. يمكن لشبكات Web3 أن توكل توليد الانتفاضات إلى وحدات معالجة الرسوميات والأجهزة الطرفية ذات الجودة الاستهلاكية الموزعة عالميًا—أي “ذيل طويل” من موارد الحوسبة—بينما تركز تحديثات السياسة على عقد ذات عرض نطاق ترددي عالٍ. يتوافق هذا مع الواقع الاقتصادي لتوزيع الأجهزة الحديثة: مجموعات التدريب المتخصصة نادرة ومكلفة، لكن شبكات GPU الموزعة وفيرة ورخيصة.

آليات التحقق تحل مشكلة الثقة في الشبكات غير المصرح بها. عندما يمكن لأي شخص المساهمة في الحوسبة، كيف تضمن الشبكات أن العمل صحيح حقًا؟ تثبت أدلة المعرفة الصفرية و"إثبات التعلم" تقنيًا أن سلاسل التفكير تم تنفيذها فعليًا، وأن الكود تم تنفيذه بشكل صحيح، وأن المسائل الرياضية حُلت بصدق. بالنسبة للمهام الحتمية مثل البرمجة أو الرياضيات، يصبح التحقق فعالًا بشكل ملحوظ—فالمحققون يحتاجون فقط إلى فحص المخرجات لتأكيد العمل. يحول هذا شبكة مفتوحة وبدون ثقة من نقطة ضعف إلى قوة.

حلقات الحوافز الرمزية تكمل الهيكلية. بدلاً من الاعتماد على منصات التجميع المركزية لجمع ملاحظات التفضيل، تكافئ الرموز المبنية على blockchain المساهمين مباشرة على تقديم بيانات RLHF، أو تعليقات RLAIF، أو موارد الحوسبة. يصبح سوق الملاحظات بالكامل—توليد بيانات التفضيل، نتائج التحقق، توزيع المكافآت—شفافًا، وقابلًا للتعيين، وبدون إذن. تعمل آليات التخفيض على تقييد الجودة من خلال معاقبة الفاعلين السيئين، مما يخلق أسواق ملاحظات أكثر كفاءة من البدائل التقليدية.

معًا، تتيح هذه العناصر الثلاثة نظامًا يختلف جوهريًا عن النهج المركزي: يمكن التحقق من العمل بدون ثقة في أي طرف، وتُقيم المساهمات تلقائيًا من خلال آليات شفافة، ويُكافأ المشاركون وفقًا لتأثيرهم. هذا ليس مجرد لامركزية من أجلها—إنه ابتكار معماري تُمكنه تحسينات تحسين التفضيلات المباشر وتقنيات ما بعد التدريب الأخرى بشكل فريد.

ستة مخططات للمستقبل: كيف تنفذ المشاريع التعلم المعزز بعد تحسين التفضيلات المباشر

بينما يمثل تحسين التفضيلات المباشر أحد النهج المهمة بعد التدريب، يتطور النظام البيئي بشكل أكثر ثراءً من المنهجيات. ستة مشاريع رئيسية تبتكر حلولًا معمارية مختلفة للتعلم المعزز اللامركزي، كل منها يهدف إلى تحسين قيود مختلفة.

Prime Intellect أنشأ بنية تحتية ناضجة للتعلم المعزز الموزع غير المتزامن. إطار عمله (prime-rl) يفصل تمامًا بين منشئ الانتفاضات (rollout generation) والمتعلم (policy updates)، مما يتيح لوحدات معالجة الرسوميات غير المتجانسة الانضمام أو المغادرة في أي وقت. يدمج إطار العمل تقنية vLLM للانتباه المصفح لتحقيق أعلى معدل تمرير، وتقسيم المعلمات FSDP2 للتدريب الفعال لنماذج كبيرة، وGRPO (Group Relative Policy Optimization) كآلية لتحديث السياسة. أطلق المشروع INTELLECT-1 (10B معلمة) في أكتوبر 2024، مما يثبت أن التدريب اللامركزي عبر ثلاث قارات يمكن أن يحافظ على 98% من استغلال GPU مع نسب اتصال أقل من 2%—اختراق في اللامركزية العملية. أثبتت إصدارات INTELLECT-2 (32B، أبريل 2025) استقرار التقارب حتى مع تأخيرات متعددة الخطوات. حققت INTELLECT-3 (106B مزيج من الخبراء، نوفمبر 2025) أداء تفكير رائدًا أثناء التشغيل على مجموعات H200×512 عبر تنشيط متفرق يشارك فقط 12B معلمة في كل مرة. تؤكد هذه الإصدارات أن أنظمة التعلم المعزز اللامركزية نضجت من احتمال نظري إلى واقع إنتاجي.

Gensyn اتجهت إلى المشكلة بشكل مختلف من خلال محرك التعلم التعاوني RL Swarm وخوارزمية التحسين SAPO. بدلاً من توزيع المهام التقليدي، يخلق RL Swarm حلقة توليد-تقييم-تحديث نظير لنظير حيث ينتج الحلول مسارات، ويولد المقترحون مهامًا متنوعة، ويقيم المقيمون المخرجات باستخدام نماذج حكم مجمدة. يمثل SAPO (Swarm Sampling Policy Optimization) ابتكارًا معماريًا: بدلاً من مشاركة التدرجات مثل التدريب الموزع التقليدي، يشارك عينات الانتفاضات ويقوم بترشيح إشارات المكافأة محليًا. يقلل هذا بشكل كبير من عبء الاتصال مقارنة بـ PPO أو GRPO، مما يتيح لوحدات معالجة الرسوميات ذات الجودة الاستهلاكية المشاركة في التعلم المعزز على نطاق واسع. كانت مساهمة Gensyn في إدراك أن الاعتماد الكبير على الانتفاضات المتنوعة—بدلاً من التزامن الضيق للمعلمات—يجعله مناسبًا بشكل طبيعي للهياكل اللامركزية ذات الكمون والنطاق الترددي العالي.

Nous Research أنشأت كامل البنية حول بيئة Atropos للتحقق من التعلم المعزز، التي توفر إشارات مكافأة حتمية لمهام مثل البرمجة والرياضيات. تتبع عائلة نماذج Hermes الانتقال الصناعي: النسخ المبكرة (Hermes 1-3) اعتمدت على تحسين التفضيلات المباشر وDPO لتحقيق التوافق الفعال، بينما أدخل Hermes 4 سلاسل تفكير ببطء، وتوسيع زمن الاختبار، وRL قائم على GRPO. نفذت DeepHermes هذا العملية على شبكة GPU اللامركزية Psyche، مما مكن من التعلم المعزز أثناء وقت الاستدلال عبر أجهزة غير متجانسة. الابتكار الرئيسي هو أن Atropos يعمل كحكم قابل للتحقق في شبكة Psyche، مؤكدًا ما إذا كانت العقد تحسن السياسات بشكل حقيقي—حل أساسي لإثبات التعلم القابل للمراجعة. تقلل تقنية DisTrO، التي طورتها Nous لضغط التدرجات بشكل غير متصل، من تكاليف الاتصال في التعلم المعزز بأوامر من الحجم. معًا، توحد هذه المكونات توليد البيانات، والتحقق، والتعلم، والاستنتاج في حلقة ذاتية التحسين مستمرة تعمل على شبكات GPU المفتوحة.

Gradient Network صممت إطار عمل Echo للتعلم المعزز لفصل الاستنتاج والتدريب إلى “مجموعات” مستقلة تتوسع بشكل مستقل على أجهزة غير متجانسة. تستخدم مجموعة الاستنتاج التوازي الموازي لتعظيم معدل أخذ العينات على وحدات معالجة الرسوميات والأجهزة الطرفية ذات الجودة الاستهلاكية. تكمل مجموعة التدريب تحديثات التدرج ومزامنة المعلمات، سواء كانت مركزية أو موزعة جغرافيًا. يوفر Echo بروتوكولين للمزامنة—متسلسل (يعطي الأولوية لحداثة البيانات) و غير متزامن (يعظم الكفاءة)—مما يتيح إدارة اتساق السياسة والبيانات في الشبكات الواسعة. بمعاملة التدريب والاستنتاج كعبء عمل مستقل، يحقق Echo معدل استغلال أعلى للأجهزة مقارنة بالطرق التقليدية حيث تتسبب الأحمال المختلطة في فشل SPMD عن العمل أو عنق الزجاجة.

Grail (في منظومة Bittensor) من خلال Covenant AI يتبع نهجًا تشفيرياً للتحقق من التعلم المعزز. باستخدام آلية إجماع Yuma الخاصة بـ Bittensor كأساس، يؤسس Grail سلسلة ثقة من خلال توليد تحديات حتمية (باستخدام إشارات عشوائية drand)، والتحقق من سجل الاحتمالات على مستوى الرموز، وربط هوية النموذج عبر بصمات الأوزان. يتيح ذلك للمتعدين توليد مسارات استنتاج متعددة لنفس المهمة، بينما يقيم المدققون النتائج من حيث الصحة وجودة الاستنتاج. أظهرت النظام قدرات تحسين كبيرة—حيث تحسنت دقة Qwen2.5-1.5B من 12.7% في الرياضيات إلى 47.6% من خلال عملية GRPO القابلة للتحقق—مع منع الاختراقات في المكافآت عبر أدلة تشفيرية تؤكد أن الانتفاضات حقيقية ومرتبطة بهوية نموذج محددة.

Fraction AI رائدة لنموذج مختلف تمامًا: التعلم المعزز من خلال المنافسة (RLFC). بدلاً من نماذج المكافأة الثابتة أو بيانات التفضيل الثابتة في تحسين التفضيلات المباشر، تخلق Fraction AI بيئات ألعاب حيث تتنافس وكلاء الذكاء الاصطناعي ضد بعضهم البعض، مع تصنيفات نسبية ودرجات حكم AI ديناميكية توفر إشارات مكافأة مستمرة. يدفع الوكلاء مقابل دخول “مساحات” مختلفة (مجالات المهام) ويكسبون مكافآت بناءً على الأداء. يعمل المستخدمون كـ"محسنين ميتا" يوجهون الاستكشاف من خلال هندسة المطالبات، بينما يولد الوكلاء أزواج تفضيل تلقائيًا من خلال منافسة على المستوى الدقيق. يحول هذا عملية وضع العلامات على البيانات من عمل جماعي إلى نموذج عمل للتوليف الدقيق بدون ثقة حيث تظهر إشارات المكافأة من الديناميات التنافسية بدلاً من المعايير الثابتة.

كل مشروع اختار نقاط دخول مختلفة—خوارزميات، هندسة، أو تصميم السوق—ومع ذلك توصل إلى بنية متماسكة: الانتفاضات المفصولة والتعلم، التحقق التشفيري، والحوافز الرمزية. هذا التقارب ليس صدفة؛ إنه يعكس كيف تتكيف الشبكات اللامركزية بشكل ضروري مع متطلبات الهيكلية للتعلم المعزز.

من التوافق المركزي إلى التوافق السيادي: الفرصة

أعمق فرصة في التعلم المعزز اللامركزي تتجاوز التحسينات التقنية. يحدث التوافق الذكائي اليوم خلف الأبواب المغلقة في مختبرات الذكاء الاصطناعي الكبرى—حيث يقرر عدد محدود من المؤسسات القيم التي يتم ترميزها في أنظمة أكثر قوة. يتيح التعلم المعزز اللامركزي “التوافق السيادي”، حيث يمكن للمجتمعات التصويت بالرموز لاتخاذ قرار جماعي “ما هو المخرجات الجيدة” لنماذجها. تصبح التفضيلات ونماذج المكافأة نفسها أصول بيانات على السلسلة، قابلة للحكم بدلاً من أن تكون أسرارًا ملكية.

تُصبح منهجيات ما بعد التدريب مثل تحسين التفضيلات المباشر أكثر قوة بكثير في هذا السياق. بدلاً من أن تقوم الشركات بتجميع مجموعات تفضيل محدودة بعناية، يمكن للشبكات اللامركزية الاستفادة من إشارات تفضيل متنوعة وغير محدودة من المجتمعات العالمية. قد تركز مجتمعات مختلفة على قيم مختلفة—بعضها يولي الأولوية للمساعدة، والبعض الآخر يركز على عدم الإضرار، والبعض يبرز التعبير الإبداعي. بدلاً من توافق ذكاء اصطناعي واحد يناسب الجميع، تتيح الأنظمة اللامركزية توافقًا تعدديًا حيث تحتفظ المجتمعات بالوكالة.

كما يعيد ذلك تشكيل الاقتصاديات. يخلق ما بعد التدريب قيمة من خلال تحسين القدرة على التفكير، وتوافق أفضل، وزيادة القدرات. في الأنظمة المركزية، تتركز هذه القيمة مع المنصة. في الأنظمة اللامركزية، يمكن لتوزيعات الرموز أن تكافئ بشكل شفاف المدربين (الذين يوفرون الحوسبة)، والموافقين (الذين يوفرون بيانات التفضيل)، والمستخدمين (الذين يستفيدون من النظام)—مُعيدين توزيع قيمة إنتاج الذكاء الاصطناعي إلى المشاركين في الشبكة الذين أنشأوه.

التحديات والتوتر المستمر

على الرغم من هذه المزايا، يواجه التعلم المعزز اللامركزي قيودًا أساسية. لا يزال حائط النطاق الترددي قائمًا: تدريب نماذج ضخمة جدًا (70B+ معلمات) لا يزال يتطلب تزامنًا يصعب بسبب الكمون الفيزيائي. تتفوق أنظمة الذكاء الاصطناعي المبنية على Web3 حاليًا في التوليف الدقيق والاستنتاج، لكنها تكافح مع التدريب الكامل لنماذج ضخمة. تقلل تقنيات DisTrO وغيرها من تقنيات ضغط الاتصال من هذا القيد، لكنه يمثل تحديًا هيكليًا وليس مشكلة هندسية مؤقتة.

الأكثر خديعة هو قانون جودهارت: عندما يتبع الدفع المقياس، يتوقف المقياس عن قياس ما تريده. في الشبكات المحفزة، يهدف المشاركون حتمًا إلى تحسين وظائف المكافأة بدلاً من الذكاء الحقيقي. يصبح الاختراق في المكافآت—مثل زراعة النقاط، واستغلال الحالات الحديّة، واللعب على مقاييس التقييم—سباق تسلح دائم. المنافسة الحقيقية ليست في تصميم وظائف مكافأة مثالية مستحيل، بل في بناء آليات مقاومة للهجمات التي تنجو من محاولات الهجوم المتطورة. الهجمات البيزنطية حيث يسمم العمال الخبيثون إشارات التدريب بشكل نشط تزيد من تعقيد هذا التحدي.

الحل يتطلب فهم أن الصلابة تظهر ليس من خلال تصميم قواعد مثالية، بل من خلال المنافسة الاقتصادية. عندما تدير منظمات متعددة عقد التحقق، وعندما يتم خصم قيمة المدققين الذين يؤكدون العمل الزائف، وعندما يكافئ الشبكة من يكشف عن المحتالين، تصبح الصلابة المناهضة للهجمات خاصية ناشئة بدلاً من ميزة مصممة.

الطريق إلى الأمام: ثلاثة تطورات تكميلية

من المحتمل أن يتكشف مستقبل التعلم المعزز اللامركزي عبر ثلاثة اتجاهات متوازية.

الأول هو توسيع سوق الاستنتاج القابل للتحقق. بدلاً من خطوط أنابيب التدريب الكاملة، ستركز الأنظمة قصيرة الأمد على توزيع التعلم المعزز أثناء وقت الاستنتاج والتحقق عبر الشبكات العالمية. تصبح المهام مثل التفكير الرياضي، وتوليد الشفرات، وحل المشكلات العلمية—حيث تكون المخرجات قابلة للتحقق بشكل حتمي—نقطة انطلاق. تربط هذه الحلول “الصغيرة والجميلة” مباشرة تحسين القدرات بقيمة الاستفادة، مع إمكانية تفوقها على النماذج العامة المغلقة المصدر في مجالاتها.

الثاني هو تحويل الأصول إلى التفضيلات ونماذج المكافأة. بدلاً من اعتبار بيانات التفضيل عملًا مؤقتًا من العمل الجماعي، يمكن للأنظمة اللامركزية ترميز التغذية الراجعة عالية الجودة ونماذج المكافأة كأصول بيانات قابلة للحكم. يحول هذا التعليق من معاملات لمرة واحدة إلى مشاركة حقوق ملكية—حيث يمتلك المساهمون حصصًا في نماذج المكافأة التي تدفع أنظمة التوافق التي ساعدوا في توجيهها.

الثالث هو تخصص شبكات التعلم المعزز الفرعية. ستتطور الشبكات اللامركزية من بنية تدريب عامة إلى شبكات تعلم معزز متخصصة محسنة لمهام محددة—مثل تنفيذ استراتيجيات DeFi، وتوليد الشفرات، والاكتشاف العلمي، والذكاء الاصطناعي المجسد. تطور كل شبكة فرعية آليات تحقق خاصة بالمهمة، وقيم المجتمع، واقتصاديات الرموز. يصبح الهيكل الأعلى أقل “OpenAI لامركزي واحد” وأكثر “عشرات التعاونيات الذكية المتخصصة”.

الخاتمة: إعادة كتابة علاقات الإنتاج الذكي

يجسد الجمع بين التعلم المعزز وWeb3 شيئًا أعمق من مجرد تحسين تقني. إنه يعيد صياغة العلاقات الأساسية لإنتاج الذكاء الاصطناعي: كيف يتم تدريب الذكاء، وتوافقه، وتقييمه.

للمرة الأولى، يصبح من الممكن أن يعمل تدريب الذكاء الاصطناعي كسوق حوسبة مفتوح حيث يشارك GPU طويل الذيل حول العالم كممثلين اقتصاديين متساوين. يمكن أن تتحول التفضيلات ونماذج المكافأة من أسرار ملكية إلى أصول على السلسلة، قابلة للحكم. يمكن أن توزع القيمة الناتجة عن الذكاء بين المدربين، والموافقين، والمستخدمين بدلاً من أن تتركز داخل المنصات المركزية. إن تحسين التفضيلات المباشر والأساليب الناشئة لما بعد التدريب هي تقنيات حاسمة تُمكن هذا التحول—ليس لأنها تحل التوافق بشكل مثالي، بل لأنها تفصل التعلم عن المركزية وتمكن التحقق بدون ثقة.

هذه ليست مجرد محاولة لنسخ نسخة لامركزية من OpenAI. الفرصة الحقيقية تكمن في إعادة تنظيم جوهرية لكيفية عمل إنتاج الذكاء: من مختبرات الشركات المغلقة إلى شبكات اقتصادية مفتوحة حيث يشارك المجتمعون في التدريب، والتوافق، وامتلاك الأنظمة التي تعزز قدراتهم.

يعتمد هذا التحليل على أنماط البحث من فرق البنية التحتية للذكاء الاصطناعي Web3 الرائدة، وIOSG Ventures، وPantera Capital، ومشاريع ناشئة في منظومة RL اللامركزية. مثل جميع التحليلات المستقبلية، فهو يتضمن حكمًا تفسيريًا ويحتوي بالضرورة على وجهات نظر وانحيازات محتملة. يتباين سوق العملات الرقمية غالبًا بين أساسيات المشروع وأداء السوق الثانوي. هذا المحتوى لأغراض إعلامية وأكاديمية وبحثية، ولا يشكل نصيحة استثمارية أو توصية بشراء أو بيع أي رموز.