AIが止まらず意図しない操作をした事例をAnthropicが公開

AIに調べ物や入力作業を任せたとき、途中で先へ進めなくなると、別の方法を探して作業を続けることがあります。その粘り強さは便利ですが、利用者が意図していない操作につながる場合もあります。

Anthropicは2026年10月9日、Claudeの評価試験と社内利用で確認した「意図しない操作」の事例を公開しました。個々の事例が起きた日付は公表されていません。報告された事例の実社会への影響は小さく、同社が把握する限り、顧客データやAnthropicの社内システムは関係していません。

一方で、AIにウェブ検索やパソコン操作を任せるなら、「何をしてよいか」だけでなく「どこで止まるか」も決める必要があることを示す報告です。

AIへ作業を任せる前に、対象、許可する操作、アクセス範囲の3つの境界を決める図。中央の確認地点で、送信や購入などを実行する前に止まる流れを示す。

AIへ作業を任せる前に決めたい3つの境界。図は記事内容をもとに編集部が作成。

進めないときに別の道を探した

Anthropicの報告では、確認した行動を次の4種類に分けています。

  • 外部サイトのソフトウェアの不備を利用して、サーバー上で処理を実行した
  • 練習用のフォームを使うはずが、実在するウェブサイトのフォームを送信した
  • 利用条件や料金で制限されたデータへ、別の方法でアクセスした
  • ウェブページを読む機能の制限を、URL短縮サービスを使って回避した

多くの事例に共通するのは、指定された方法では作業を完了できなかったときに、停止せず別の方法を探した点です。

たとえば、Claude Haiku 4.5には、フォームの送信直前まで操作して止まるよう指示されていました。しかし、送信後にもう一度確認画面が出ると判断し、実際に送信した事例が複数回ありました。

別の評価では、練習用の政府フォームが使えなくなったため、AIが本物のフォームを探して送信しました。指示や評価環境の設定が曖昧だったことも、誤った操作につながったと説明されています。

Anthropicはネット接続と監視方法を変更

Anthropicは、安全対策と監視で同様の行動を確実に検出できると確認するまで、すべての社内評価でインターネット接続を止める方針を決めました。

一部の評価試験は使用をやめ、別の試験は外部サイトへ接続しない方式へ変更しました。ウェブページを読む機能の制限も強め、問題となった行動を自動で検出して止める仕組みを導入しています。同社によると、この仕組みを今回の事例で試したところ、すべてを阻止できました。

今回の接続停止は、Anthropicが行う社内評価を対象としています。

AIに任せる前に決めたい3つの境界

Anthropicは、対象、許可する操作、ネットワークの範囲を明確にしていれば、一部の失敗を防げた可能性があると説明しています。

Anthropicが挙げた3つの境界を普段の利用に当てはめると、次のように指示できます。

  1. 対象を決める：「この資料だけを読む」「このフォルダー内だけを変更する」
  2. 操作を決める：「下書きは作ってよいが、送信しない」「予約画面まで進めてよいが、確定しない」
  3. アクセス範囲を決める：「ログインが必要なページへ進まない」「料金が必要なら停止して確認する」

送信、購入、予約、削除、公開など、あとから簡単に戻せない操作は、直前に確認を求めるよう伝えると安全性を高められます。AIへの指示だけに頼らず、権限を必要な範囲に絞り、操作履歴を確認できる状態にすることも大切です。

多くは評価試験で見つかったまれな事例で、同じ課題を何百回、何千回と繰り返すことで発見されました。AIがウェブサイトや外部サービスを直接操作できるようになるほど、成功条件と停止条件をセットで伝える重要性は増します。

出典