أعلنت OpenAI في 8 مايو عن بحث جديد كشفت فيه أن بعض نماذجها في أثناء تعزيز التعلم (RL) تعرّضت لـ”تقييم غير مقصود“ لسلاسل الأفكار (Chain of Thought, CoT)، ما قد يؤثر في قدرة مراقبة محاذاة وكلاء الذكاء الاصطناعي (alignment). وذكرت OpenAI ضمن فريق المحاذاة أن الاحتفاظ بإمكانية مراقبة CoT يُعد خط الدفاع الحاسم الحالي ضد فشل محاذاة وكيل الذكاء الاصطناعي؛ كما قالت إن OpenAI في تصميم تدريب تعزيز التعلم تتجنب عمداً معاقبة نموذج على “تَبَصُّرٍ للاستدلال بفشل المحاذاة” للحفاظ على القدرة على المراقبة.
لماذا تُعد مراقبة CoT خط دفاع حاسماً لمحاذاة وكيل الذكاء الاصطناعي
المنطق الأساسي لمراقبة CoT (سلسلة الأفكار):
عندما ينفّذ وكيل الذكاء الاصطناعي مهمة، يولّد النموذج داخلياً “عملية تفكير”، ويشرح لماذا يحتاج إلى تنفيذ إجراءٍ ما
يمكن للمراقِبين قراءة هذه الـ CoT وتقييم ما إذا كانت هناك مؤشرات على “فشل المحاذاة” (misalignment)
إذا تم تدريب النموذج مباشرةً على “عدم إظهار فشل المحاذاة داخل CoT”، فقد تصبح CoT “نظيفة لكن غير حقيقية”، فتخفي النوايا الفعلية
وترى OpenAI أن التدريب ينبغي أن يتجنب معاقبة “الاستدلال بفشل المحاذاة”، وأن يحافظ على قدرة CoT على عكس الحالة الداخلية الفعلية
إن “penalize misaligned reasoning” و”preserve monitorability” هما محور شدٍّ وجذب في هذا البحث—يريد القائمون على التدريب سلوكاً متوافقاً مع المحاذاة، لكن إذا تم معاقبة “التفكير بفشل المحاذاة” بشكل مباشر، فسيتعلم النموذج إخفاء نوايا غير صادقة، بما يؤدي إلى فشل المراقبة.
تقييم CoT غير مقصود: أثره في قدرات مراقبة النماذج القائمة
كشفت تقارير OpenAI عن النتائج المحددة التالية:
في بعض عمليات تدريب النماذج التي جرى إصدارها، تلقّت CoT “تقييماً غير مقصود” بدرجة محدودة
ويعني التقييم غير المقصود أن جزء التقييم ضمن عملية التدريب قرأ محتوى CoT، وليس فقط المخرجات النهائية
قد يجعل هذا النموذج يتعلم “إخفاء الاستدلالات التي ستُخصم إذا ظهرت داخل CoT”
وتهدف OpenAI إلى نشر هذا التحليل لإتاحة فهم نطاق المشكلة واتجاهات المعالجة اللاحقة لدى مجتمع البحث.
وأشار تعليق مستقل من Redwood Research إلى أن تأثير CoT على المُقيّمين تحت تقنيات الكشف لدى OpenAI “ضعيف للغاية وغير سهل الرصد”، لكن بما أن حجم عملية التدريب هائل فقد تكون الآثار الفعلية كافية للتسبب بشكل معتبر في الإضرار بقدرة CoT القابلة للمراقبة لدى السياسات التي تم تدريبها. وبعبارة أخرى، لا يزال من الصعب إثبات عمق هذا النوع من التأثيرات.
الأثر طويل الأمد على سلامة وكلاء الذكاء الاصطناعي
يشير هذا البحث إلى منهجية أساسية لسلامة وكلاء الذكاء الاصطناعي:
مراقبة CoT هي من بين القلائل المتاحة لـ”الاكتشاف أثناء التنفيذ لفشل المحاذاة”، وتُعد أساساً مهماً لأبحاث المحاذاة
لا بد أن يتجنب تصميم التدريب تحويل CoT إلى “سيناريو يُقدَّم للمراقبين فحسب”
كلما طال تسلسل الاستدلال في النماذج المستقبلية زادت قيمة مراقبة CoT نظرياً
لكن إذا تسبب التدريب بشكل غير مقصود في الإضرار بالحقيقية الفعلية لـ CoT، فقد تضعف هذه الخطوط الدفاعية دون أن يُنتبه لذلك
أحداث محددة يمكن تتبعها لاحقاً: معالجة OpenAI اللاحقة للنماذج المتأثرة (مثل إعادة التدريب أو وضع علامات)، والمنهجيات المناظرة لدى مختبرات كبيرة أخرى (Anthropic، وGoogle DeepMind)، إضافة إلى تجارب التحقق الإضافية لدى مجتمع أبحاث المحاذاة حول “موثوقية مراقبة CoT”.
ظهرت هذه المقالة التي تكشف عن تأثير التقييم غير المقصود لـ CoT لدى OpenAI: الحفاظ على مراقبة سلسلة الأفكار خط دفاع حاسم لمحاذاة وكلاء الذكاء الاصطناعي لأول مرة في سلسلة أخبار ABMedia.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى
إخلاء المسؤولية.
مقالات ذات صلة
تجري Google اختبارات توظيف تتيح للمهندسين استخدام أدوات الذكاء الاصطناعي
وفقاً لصحيفة The Chosun Daily، يجري اختبار تجريبي لدى Google لاختبارات توظيف تتيح لمترشحي مهندسي البرمجيات الأمريكيين استخدام أدوات الذكاء الاصطناعي في وظائف محددة للمستوى المبتدئ والمتوسط. يشمل الاختبار مهام لفهم الشيفرة البرمجية، حيث يراجع المتقدمون شيفرة موجودة ويصلحون الأخطاء ويحسنون الأداء. وسيقيّم القائمون على المقابلات كيفية قيام المرشحين بصياغة الأوامر للذكاء الاصطناعي والتحقق من مخرجاته وتعديل النتائج وإصلاح الأخطاء في الشيفرة، بدلاً من تقييم قدرتهم فقط على كتابة الشيفرة من الصفر.
GateNewsمنذ 1 س
أوبن إيه آي توقف واجهة برمجة التطبيقات الخاصة بالتدريب المخصص بدءاً من الآن فوراً، ويمكن للمستخدمين الحاليين الوصول حتى 6 يناير 2027
بحسب الإعلان الرسمي من OpenAI الذي تمت متابعته عبر Beating، تواصل الشركة إيقاف واجهة برمجة التطبيقات الخاصة بالتطوير الدقيق (Fine-tuning) الذاتية لخدمة المطورين، وذلك اعتبارًا من الآن فورًا. ولن يتمكن المستخدمون الجدد من إنشاء مهام للتطوير الدقيق، بينما يمكن للمستخدمين الحاليين النشطين الوصول إلى الخدمة حتى 6 يناير 2027. وستُربط خدمات الاستدلال للنماذج المطورة بدقة بالنطاق الزمني لدورات حياة نماذجها الأساسية، وتتوقف عند تقاعد النموذج الأساسي. ذكر OpenAI أن نماذجها الأساسية الجديدة، مثل GPT-5.5،
GateNewsمنذ 2 س
حقق كل من Sakana AI وNvidia سرعة استدلال على H100 أسرع بنسبة 30% عبر تخطي 80% من عمليات الحوسبة غير الصحيحة
قامت Sakana AI وNvidia بإتاحة TwELL كمصدر مفتوح، وهو تنسيق بيانات متفرق يتيح لوحدات GPU من نوع H100 تخطي 80% من الحسابات غير الصالحة في النماذج اللغوية الكبيرة دون المساس بالدقة. يقدّم الحل ما يصل إلى 30% تسريعاً في الاستدلال و24% تسريعاً في التدريب على وحدات H100، مع تقليل استهلاك الذاكرة القصوى. وفي الاختبارات على نموذج من 1.5 مليار معامل، خفّضت المقاربة عدد العصبونات النشطة إلى أقل من 2% عبر تنظيم خفيف أثناء التدريب، دون أي تراجع في الأداء عبر سبع مهام لاحقة.
GateNewsمنذ 3 س
مايكروسوفت تفتح الشيفرة المصدرية لنموذج Phi-Ground 4B، وتتفوق على OpenAI Operator وClaude في دقة النقر على الشاشة
بناءً على Beating، فتحت مايكروسوفت مؤخراً نموذج Phi-Ground للعائلة المصدر المفتوح، المصمم لمعالجة مشكلة أين ينبغي للذكاء الاصطناعي أن ينقر على شاشة الكمبيوتر. فقد تفوّق إصدار 4 مليارات معلمات، بالاقتران مع نماذج لغوية أكبر لتخطيط التعليمات، على دقة النقر لدى OpenAI Operator وClaude Computer Use في معيار Showdown، واحتل المركز الأول بين جميع نماذج أقل من 100 مليار معلمة عبر خمس عمليات تقييم، بما في ذلك ScreenSpot-Pro. تدرّبت المجموعة على أكثر من 40 مليون عينة بيانات، ووجدت أن ثلاث تقنيات تدريب شا
GateNewsمنذ 4 س
Tilde Research يكتشف أن مُحسّن الميون يقتل 25% من الخلايا العصبية؛ ويحقق بديل Aurora مكسبًا في كفاءة البيانات بمقدار 100 ضعف
وفقاً لـ Tilde Research، يعاني مُحسّن Muon الذي اعتمدته نماذج ذكاء اصطناعي رائدة، بما في ذلك DeepSeek V4 وKimi K2.5، من عيبٍ خفي: إذ يتسبب في موتٍ دائم لأكثر من 25% من عصبونات طبقات MLP خلال التدريب المبكر. صممت المجموعة Aurora، وهو مُحسّن بديل، وقامت بإتاحته مفتوح المصدر. وقد حقق نموذج بمعلمات 1.1B تم تدريبه باستخدام 100B فقط من الرموز أداءً مطابقاً لأداء Qwen3-1.7B الذي تم تدريبه على 36T من الرموز عبر معايير فهم اللغة مثل HellaSwag وWinogrande، ما يوضح تحسناً تقريبيّاً في كفاءة البيانات بنسبة
GateNewsمنذ 4 س
التزمت شركة Nvidia بأكثر من 40 مليار دولار باستثمارات في مجال الذكاء الاصطناعي خلال بداية 2026، بما في ذلك 30 مليار دولار لصالح OpenAI
وفقاً لـTechCrunch، التزمت Nvidia بأكثر من 40 مليار دولار باستثمارات حقوق ملكية في شركات الذكاء الاصطناعي خلال الأشهر الأولى من 2026، مع استثمار 30 مليار دولار في OpenAI بوصفه أكبر التزام منفرد. كما تعهدت الشركة المصنعة للرقائق بما يصل إلى 3.2 مليار دولار في شركة صناعة الزجاج Corning، وبقدر يصل إلى 2.1 مليار دولار لمشغل مراكز البيانات IREN، بما في ذلك مذكرة ضمان (warrant) لمدة خمس سنوات، وعقد منفصل بقيمة 3.4 مليار دولار لخدمات سحابية للغرض الحوسبي GPU المُدارة باستخدام أنظمة Nvidia Blackwell. وو
GateNewsمنذ 7 س
