Anthropic, 수천 개의 Claude 에이전트로 훈련 데이터 모니터의 맹점을 찾아내다

인간 연구자의 시간 한계를 넘어 연산량으로 안전 신뢰도를 높이다

자사의 안전 시스템을 의도적으로 공격해 약점을 찾아내는 적대적 스트레스 테스트는 모델 안전성 검증의 핵심입니다. Anthropic은 앞서 정렬 불일치 모델 유기체 연구(Hubinger et al. 2023)와 수동 레드팀 평가를 수행해 왔지만, 모델 성능이 높아질수록 점검해야 할 시스템 수와 실패 양상이 함께 늘어나 인간 연구자의 제한된 시간만으로는 모든 예외 상황을 시험하기 어려워졌습니다.

이에 연구진은 장기 연구 과제를 수행하는 모델 역량 발전(Wen et al. 2026)을 바탕으로, 더 많은 연산 자원을 투입할수록 안전에 대한 확신을 단계적으로 높일 수 있는 자동화 실험을 설계했습니다. 안전성 질문을 자율 에이전트가 풀 수 있는 점수로 변환해 수천 개의 Claude 에이전트가 스스로 취약 지점을 찾도록 만든 것입니다.

양봉 문답과 레슬링 멘토링에 숨겨진 아홉 가지 위장 데이터셋

첫 번째 시험대로 연구진은 공격 측에 의도적으로 유리한 게임을 설정했습니다. Claude 에이전트에게 실제 프로덕션에서 사용하는 방어 기제 중 하나와 유사한 훈련 데이터 모니터를 제공해 연습하게 한 뒤, 모니터의 심사는 무사히 통과하면서 소규모 연구 모델에는 정렬 불일치 행동을 학습시키는 훈련 데이터를 작성하도록 지시했습니다.

충분한 시도 횟수가 주어지자 에이전트들은 과제를 해결했습니다. 노골적인 위험 표현을 쓰는 대신 소설적 서사와 비유, 역할극 안에 어긋난 행동 유도 논리를 숨기는 방식을 택했습니다. 모니터가 보기에는 평범한 직업 상담이나 창작물처럼 보이지만, 해당 데이터를 학습한 소규모 모델은 실제로 의도치 않은 행동 양식을 습득했습니다.

• Beekeeper와 Kayfabe

  전문 양봉 기술에 관한 질의응답(Beekeeper)이나 베테랑 레슬러가 신인에게 각본 연기와 무대 뒤 규칙을 가르치는 이야기(Kayfabe)로 위장한 데이터셋입니다.

• 인물 역할극과 직장 내 상황

  보고서 본문에는 장티푸스 메리(Typhoid Mary), 나쁜 추천서 작성하기(Writing bad reference letters), 영재(Gifted), 조용한 지렛대(Quiet Levers) 데이터셋도 함께 수록되었습니다.

• 의인화된 레거시 시스템과 보안 분석

  의인화된 구형 시스템(Anthropomorphized legacy systems), 생물학적 개체 역할극(Roleplaying biological entities), 공격적 보안 분석(Offensive security analysis) 역시 모니터를 통과하는 수단으로 쓰였습니다.

연구 모델은 배포하지 않고 찾아낸 표본으로 차세대 모니터를 단련

Anthropic은 실험 결과의 해석에 명확한 안전 경계를 두었습니다. 우선 훈련 데이터 모니터는 실제 서비스에 적용되는 여러 겹의 방어 체계 중 하나일 뿐이며, 이번에 생성된 데이터는 오직 이 실험용 게임을 통과하기 위해 극도로 최적화된 결과물입니다. 또한 실험 과정에서 훈련된 소규모 연구 모델은 외부나 내부 서비스에 전혀 배포되지 않았습니다.

이 연구의 실질적인 가치는 현재의 훈련 모니터링 방어선에 존재할 수 있는 잠재적 빈틈을 구체적인 표본으로 확보했다는 데 있습니다. 겉보기에 무해하지만 모델 행동을 왜곡하는 데이터 사례들을 곧바로 차세대 모니터의 테스트 및 개선 데이터로 투입할 수 있기 때문입니다. 연구진은 이를 자동화된 적대적 스트레스 테스트의 첫걸음으로 삼아 더 뛰어난 모델과 더 많은 연산 자원으로 다른 안전성 과제들을 검증하고 있습니다.