الآلات تتسارع في التطور، لكن يفتقر إلى وظيفة أساسية واحدة!

الروبوتات تصبح أصغر وأسرع وأكثر استقلالية.
لكن العنصر الحقيقي المتأخر هو القدرة على المساءلة! عندما تبدأ الأنظمة في النظر لنفسها، وتقييم نفسها، وتنفيذ نفسها، لم تعد المشكلة هل يمكنها القيام بذلك، بل:

لماذا قامت بذلك في تلك اللحظة؟
ما النموذج والقواعد المستخدمة؟
هل تم التلاعب بها، أو خفض مستواها، أو استدعاؤها بشكل غير مصرح به؟
عند وقوع مشكلة، هل يمكن استرجاع الحقائق المثبتة، وليس مجرد سجلات قابلة للتعديل أو تفسيرات شفوية؟

الاستقلالية غير الموثوقة، قد تبدو كخطوة للأمام، لكنها في الواقع تدمج المخاطر في العالم الحقيقي. خاصة في الأماكن العامة، مثل الرعاية الصحية، المصانع، والنقل، فإن الأنظمة ذات الصناديق السوداء ليست أداة لزيادة الكفاءة، بل مخاطر نظامية.

الأنظمة الذاتية القابلة للتوسع الحقيقي، يجب أن تعتبر سلسلة المسؤولية كالبنية التحتية؛ القرارات قابلة للتحقق، والسلوك قابل للمراجعة، والحدود قابلة للتنفيذ. وإلا، فكلما زادت الاستقلالية، زادت المخاطر!