Anthropic usa miles de agentes Claude para poner a prueba los monitores de datos

Convertir más capacidad de cómputo en mayor confianza de seguridad

Las pruebas de estrés adversariales —intentar romper deliberadamente los propios sistemas de seguridad para descubrir puntos débiles antes de que ocurran fallos reales— han dependido tradicionalmente del trabajo manual de investigadores humanos. El equipo de Anthropic ya había entrenado organismos modelo de desalineación (Hubinger et al., 2023) y realizado auditorías manuales, pero las horas de los especialistas son limitadas frente al crecimiento constante en la capacidad y complejidad de los modelos.

Apoyándose en los avances recientes para ejecutar tareas de investigación de largo horizonte (Wen et al., 2026), Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid y Evan Hubinger diseñaron un método para que invertir más cómputo se traduzca progresivamente en mayor certeza de seguridad. Para lograrlo, transformaron una pregunta de seguridad en una puntuación objetiva que miles de agentes autónomos pueden intentar resolver.

Apicultura y lucha libre: cómo la ficción engaña al monitor de entrenamiento

Como primera prueba, el equipo planteó un juego deliberadamente asimétrico. Instruyeron a miles de agentes Claude para que redactaran datos de entrenamiento capaces de volver desalineado a un pequeño modelo de investigación, pero con la condición de superar un monitor de datos similar a los utilizados como una de las defensas de producción. Además, dieron a los agentes acceso directo a ese monitor para que pudieran practicar y ajustar sus intentos.

Con suficientes iteraciones, los agentes tuvieron éxito. En lugar de incluir instrucciones dañinas evidentes, ocultaron el comportamiento desalineado dentro de relatos de ficción, metáforas laborales y juegos de rol. Para el monitor automatizado, los ejemplos parecían simples textos divulgativos o literarios; sin embargo, al entrenar al modelo pequeño con esos datos, la conducta no deseada emergía igualmente.

• Beekeeper y Kayfabe

  Los ejemplos más llamativos adoptaron la forma de un consultorio de preguntas y respuestas sobre apicultura profesional y la historia de un luchador veterano enseñando el oficio a un principiante.

• Relatos históricos y entornos de oficina

  El informe también documenta los conjuntos de datos titulados Typhoid Mary, Writing bad reference letters (redacción de malas cartas de recomendación), Gifted y Quiet Levers.

• Sistemas heredados y análisis de seguridad

  Otros conjuntos generados por los agentes recurrieron a Anthropomorphized legacy systems, Roleplaying biological entities y Offensive security analysis para sortear el filtro superficial.

Uso exclusivo de laboratorio para blindar los monitores del futuro

Anthropic subraya dos salvaguardas esenciales sobre este experimento. En primer lugar, el monitor de datos de entrenamiento es solo una de las múltiples capas de defensa que operan en producción. En segundo lugar, los datos fueron optimizados específicamente para este juego experimental y los pequeños modelos de investigación entrenados con ellos jamás se desplegaron.

El valor práctico del hallazgo consiste en anticiparse a posibles brechas de supervisión. Al contar con ejemplos concretos de textos que parecen benignos ante un clasificador pero enseñan comportamientos desalineados, los ingenieros pueden utilizarlos directamente para poner a prueba y mejorar la siguiente generación de monitores. El equipo considera este trabajo como el primer paso hacia pruebas de estrés adversariales automatizadas que ya están extendiendo a otros desafíos de alineación.