تواجه الوكلاء الذكاء الاصطناعي تهديد حقن التلميحات: لا تزال المخاطر مرتفعة بعد ترقية الدفاعات

【عملة界】某头部 AI شركة مؤخراً كشفت عن حقيقة محرجة: منتجات متصفح الذكاء الاصطناعي الخاصة بهم تواجه مشكلة أمنية لا يمكن التغلب عليها – هجوم حقن الإشعارات. بعبارة أخرى، يمكن للهاكر أن يقوم من خلال التعليمات المخفية في صفحات الويب أو الرسائل الإلكترونية، بالتلاعب سراً بعميل الذكاء الاصطناعي لتنفيذ عمليات خبيثة. هذه ليست جديدة، لكن الشركة اعترفت أيضاً بأنه من المستحيل بشكل أساسي القضاء على هذه الأنواع من الهجمات.

لمواجهة هذه الأزمة، قاموا بتفعيل نظام دفاعي تلقائي يعتمد على نماذج اللغة الكبيرة. تم تدريب هذا النظام الدفاعي بواسطة التعلم المعزز، مما يمكنه من محاكاة الهجمات الجديدة التي قد يستخدمها الهاكر داخليًا بشكل مستمر، وبالتالي اكتشاف الثغرات وإغلاقها مسبقًا. كانت هناك نتائج إيجابية - حيث تم مؤخرًا التعرف على رسائل بريد إلكتروني خبيثة حاولت خداع الوكلاء لإرسال استقالات ووقفها بنجاح.

لكن هنا يوجد سؤال رئيسي: مثل هذه المتصفحات الذكية، تمتلك في جوهرها قدرة معينة على اتخاذ القرارات بشكل مستقل، ويمكنها الوصول إلى البيانات الحساسة للمستخدمين. في ظل هذه التركيبة من الأذونات والاستقلالية، قد لا تصل مستوى مخاطر الأمان إلى مستوى يطمئن المستخدمين للاستخدام اليومي. بعبارة بسيطة، فإن تقدم قدرات الدفاع لا يتماشى مع سرعة زيادة المخاطر.