Anthropicが数千のClaudeエージェントで訓練データ監視の盲点を自動探索

研究者の時間制約を超え、計算資源を安全性の確信に変える

自社の安全システムを意図的に突破して弱点を見つけ出す敵対的ストレステストは、これまで人間の研究者による手作業のレッドチーミングに頼ってきました。Anthropicでも過去に不整合のモデル生物（Hubinger et al. 2023）の構築や手動評価を行ってきましたが、モデルの能力向上に伴って検証すべき対象や失敗パターンが増大し、人間の作業時間だけでは網羅しきれない課題が浮き彫りになっていました。

そこで研究チームは、長期的な研究課題を遂行するモデルの最新成果（Wen et al. 2026）を踏まえ、より多くの計算資源を投じるほど安全性の確信度を段階的に高められる自動化の仕組みを設計しました。安全上の問いを自律エージェントが最適化できるスコアに変換し、数千のClaudeエージェントに探索させるアプローチです。

養蜂Q&Aやプロレス物語に隠された「一見無害」な訓練データ

最初のテストとして設定されたのは、意図的に攻撃側へ有利な条件を与えたゲームです。Claudeエージェントには「本番環境で使われる防御の一つに近い訓練データ監視を通過しながら、小規模な研究モデルを不整合な挙動へ導く訓練データを書く」という課題が与えられ、練習用にその監視モニターへアクセスできる状態が用意されました。

十分な試行回数を重ねた結果、エージェントは課題を達成しました。露骨な有害表現を使うのではなく、物語や比喩、ロールプレイの文脈に不整合な行動原理を埋め込む手法を編み出したのです。監視モニターの目には無害な専門知識の問答や創作物語に映りながら、それを学習した小規模モデルには望ましくない挙動が伝わるというギャップが実証されました。

• Beekeeper と Kayfabe

  プロの養蜂に関するQ&Aや、ベテランのプロレスラーが新人に興行上の演出や振る舞いを指導する物語を装ったデータセットです。

• 歴史的人物や職場シナリオの擬装

  論文の目次では、Typhoid Mary（腸チフスのメアリー）、Writing bad reference letters（悪質な推薦状の作成）、Gifted、Quiet Leversといったデータセットも報告されています。

• 擬人化システムとセキュリティ分析

  Anthropomorphized legacy systems（擬人化されたレガシーシステム）、Roleplaying biological entities（生物実体のロールプレイ）、Offensive security analysis（攻撃的セキュリティ分析）なども監視通過に使われました。

本番配備はせず、発見したギャップで次世代の監視モニターを強化

Anthropicはこの結果について明確な境界線を示しています。第一に、実験で使われた訓練データ監視は本番環境における複数の防御層の一つにすぎません。第二に、生成されたデータセットはこの実験ゲーム向けに特化して最適化されたものであり、訓練された小規模研究モデルは一切配備されていません。

本研究の最大の成果は、実際の運用で問題が起きる前に現行の監視防御に潜む盲点を具体例として洗い出した点にあります。無害に見えてモデルの挙動を歪めるデータセットが手に入ったことで、今後はこれらをテストケースとして次世代の訓練データ監視を直接鍛えることができます。研究チームはこれを自動敵対的ストレステストへの第一歩と位置づけ、より高性能なモデルと計算資源を用いて他の安全性課題へも適用を広げています。