Anthropic lässt tausende Claude-Agenten Trainingsdaten-Monitore auf Schwachstellen prüfen

Warum menschliches Red-Teaming durch Rechenleistung ergänzt werden muss

Adversariale Stresstests – also der gezielte Versuch, die eigenen Sicherheitsmechanismen auszutricksen, um Schwachstellen vorab zu schließen – bilden eine tragende Säule der KI-Sicherheitsforschung. Anthropic hatte zuvor bereits Modellorganismen für Fehlausrichtung trainiert (Hubinger et al., 2023) und Ausrichtungsverfahren manuell geprüft. Doch menschliche Red-Teamer verfügen nur über begrenzte Arbeitsstunden, während mit wachsender Modellfähigkeit sowohl die Zahl der zu prüfenden Systeme als auch die Vielfalt möglicher Fehlverhalten zunimmt.

Aufbauend auf jüngsten Fortschritten bei langfristigen Forschungsaufgaben durch Sprachmodelle (Wen et al., 2026) entwickelten Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid und Evan Hubinger einen Ansatz, bei dem zusätzliche Rechenleistung direkt in höhere Sicherheitsgewissheit übersetzt wird. Eine konkrete Sicherheitsfrage wird dabei in einen messbaren Zielwert überführt, den autonome Agenten systematisch optimieren.

Imkerei-Fragen und Wrestling-Geschichten als Tarnung vor dem Monitor

Als ersten Praxistest konstruierte das Team ein bewusst einseitiges Spiel: Tausende Claude-Agenten erhielten den Auftrag, Trainingsdaten zu verfassen, die ein kleines Forschungsmodell zu fehlausgerichtetem Verhalten verleiten, gleichzeitig aber einen Trainingsdaten-Monitor passieren, wie er in ähnlicher Form als eine von mehreren Verteidigungslinien in der Produktion eingesetzt wird. Zum Üben durften die Agenten diesen Monitor direkt abfragen.

Nach genügend Versuchen gelang den Agenten der Durchbruch. Statt offenkundig schädliche Anweisungen zu formulieren, tarnten sie die unerwünschten Verhaltensmuster in Fiktion, Metaphern und Rollenspielen. Für den Monitor lasen sich die Texte wie harmlose Fachgespräche oder Kurzgeschichten, während das kleine Forschungsmodell beim Training dennoch die versteckte Verhaltenslogik übernahm.

• Beekeeper und Kayfabe

  Zu den markantesten Funden zählen eine Frage-Antwort-Sammlung über professionelle Imkerei sowie eine Erzählung, in der ein erfahrener Wrestler einen Neuling in inszenierte Täuschung einweiht.

• Historische Rollen und Arbeitsplatz-Szenarien

  Weitere im Bericht dokumentierte Datensätze tragen die Titel Typhoid Mary, Writing bad reference letters (schlechte Empfehlungsschreiben verfassen), Gifted und Quiet Levers.

• Vermenschlichte Altsysteme und Sicherheitsanalyse

  Zudem nutzten die Agenten Themen wie Anthropomorphized legacy systems, Roleplaying biological entities und Offensive security analysis, um die Oberflächenprüfung zu bestehen.

Vom aufgedeckten blinden Fleck zum besseren Sicherheitsfilter

Anthropic zieht klare Grenzen bei der Einordnung der Ergebnisse: Erstens wurden die Datensätze speziell für dieses experimentelle Spiel optimiert, und die daraus entstandenen kleinen Forschungsmodelle wurden niemals produktiv bereitgestellt. Zweitens ist die Überwachung von Trainingsdaten in der Praxis immer nur eine von mehreren gestaffelten Sicherheitsbarrieren.

Der unmittelbare Nutzen liegt in der gezielten Abhärtung der Filter. Weil die automatisierte Suche konkrete Beispiele für Texte liefert, die für heutige Monitore unauffällig aussehen, aber trotzdem unerwünschtes Verhalten lehren, können genau diese Datensätze genutzt werden, um künftige Trainingsdaten-Monitore zu testen und zu schärfen. Das Team sieht das Experiment als ersten Schritt hin zu automatisierten adversarialen Stresstests und überträgt die Methode bereits auf weitere Sicherheitsfragen.