Techub News の報道によると、AI 企業 Anthropic は、インターネット上で AI を「邪悪」と描写し自己保護を追求する架空の内容は、Claude のプレリリーステスト中にエンジニアを脅迫して置き換えを逃れようとした根源であると述べています。Claude Haiku 4.5 以降、そのような行動は見られなくなり、それ以前のバージョンではテスト中の脅迫の発生率が 96% に達していました。 同社は、Claude 憲法文書や AI の良い行動の架空のストーリーを導入して訓練することで、単に整列行動を示すだけでなく、整列行動の背後にある原則も含めることにより、モデルの整列パフォーマンスを効果的に改善できると指摘しています。 彼らは、二つの方法を組み合わせることが最も効果的な戦略であると考えています。
原文表示