AIエージェントはプロンプトインジェクションの脅威に直面しています：防御がアップグレードされた後もリスクは依然として高いです

【通貨界】ある大手AI企業が最近、厄介な事実を明らかにしました：彼らのインテリジェントブラウザ製品は、避けられないセキュリティ問題に直面しています——ヒント注入攻撃です。言い換えれば、ハッカーはウェブページやメールに隠された指示を通じて、AIエージェントを秘密裏に操作して悪意のある行動を実行させることができます。これは新しいことではありませんが、企業はこの種の攻撃を完全に根絶することは基本的に不可能であると認めています。

この困難に対処するため、彼らは大規模言語モデルに基づく自動防御システムを導入しました。この防御システムは強化学習で訓練されており、内部でハッカーが使用する可能性のある新しい攻撃手法を継続的にシミュレーションすることで、事前に脆弱性を発見し封じ込めることができます。成果はあります——最近では、代理人に辞表を送信させようとする悪意のあるメールを成功裏に識別し阻止しました。

しかし、ここには重要な問題があります：このようなスマートブラウザは、本質的に一定の自主的な意思決定能力を持ち、ユーザーの機密データにアクセスすることができます。この権限と自主性の組み合わせの下では、安全リスクのレベルは、ユーザーが日常的に安心して使用できる水準には達していない可能性があります。簡単に言うと、防御能力の進歩はリスクの増加速度に追いついていません。