Opus 5のシステムカードの中に埋もれているが、見出しの評価スコアではない。これはAnthropicがこれまでに出した中で、最も“プロンプト注入”に弱い(注入されやすい)モデルだ。
その証拠:
> 1つのシナリオだけでなく、プロンプト注入の評価(eval)全体でテストされた
> 攻撃者側が仕掛ける能動的なレッドチームの試みに対しても耐えた
> Anthropic自身のリードが、ベンチマークよりも「彼が最も期待している結果」だと指摘した
プロンプト注入は、あなたのエージェントをあなたに敵対させる攻撃だ。信頼できないデータに対するツール呼び出しはすべて“露出”につながる。その数値を動かすことには、コーディング用のベンチでの1ポイント以上の価値がある。
原文表示