전담 Rust 개발자 없이 Claude로 Messages API를 재작성해 CPU를 40~50% 줄인 Anthropic

Rust 전문가 0명인 팀에서 핵심 API를 Rust로 바꾸기까지

대규모 트래픽을 처리하는 핵심 API를 Rust 같은 시스템 언어로 새로 짜려면 보통 숙련된 Rust 개발자를 채용하거나 기존 팀원들이 수개월 동안 메모리 소유권과 비동기 런타임을 익혀야 합니다. 하지만 Latent Space 팟캐스트에서 Katelyn Lesse가 밝히고 AI 연구자 Somi가 정리한 내용에 따르면, Anthropic은 전담 Rust 개발자가 전혀 없는 상태에서 Messages API를 Rust로 재작성했습니다.

언어 장벽을 넘는 해법은 명확한 역할 분담이었습니다. Rust 코드 작성 자체는 Claude에게 맡기고, 팀은 설계와 검증에 집중했습니다. 전환을 마친 뒤 Messages API의 CPU 사용량은 40%에서 50%까지 떨어졌습니다.

인간은 계획을 세우고 실제 트래픽으로 구버전과 신버전을 대조했다

전담 개발자가 없는 언어로 작성된 AI 코드를 실제 프로덕션에 올릴 수 있었던 비결은 철저한 비교 검증에 있습니다. 인간 엔지니어들은 먼저 전체 재작성 계획을 설계해 Claude가 따라야 할 아키텍처와 범위를 명확히 잡아주었습니다.

그다음 실제 유입되는 트래픽을 활용해 기존 API 구현과 Claude가 작성한 신규 Rust 구현이 똑같은 결과를 내놓는지 일일이 대조했습니다. 실제 트래픽 환경에서 두 버전의 동작이 완전히 일치한다는 사실을 확인했기 때문에, 팀원들이 Rust 문법 세부를 모두 외우지 않고도 안전하게 전환을 마치고 40~50%의 CPU 절감 효과를 얻을 수 있었습니다.

• Claude의 Rust 코드 작성

  전담 Rust 엔지니어 채용 없이도 Claude가 기존 API 로직을 Rust 코드로 구현했습니다.

• 인간 엔지니어의 계획 수립

  전환 구조와 단계별 실행 계획은 인간 엔지니어가 직접 작성해 방향을 통제했습니다.

• 실제 트래픽 일치 확인

  실제 트래픽에서 구버전과 신버전의 응답이 정확히 일치하는지 검증해 무결성을 확보했습니다.

'대규모 재작성은 피하라'는 오랜 통념이 바뀌는 이유

소프트웨어 공학에서는 오랫동안 '잘 돌아가는 시스템을 처음부터 새로 짜지 말라'는 조언이 정설처럼 통했습니다. 사람이 직접 다른 언어로 전체 코드를 다시 쓰면 시간이 오래 걸릴뿐더러, 기존 코드에 숨어 있던 예외 처리를 놓쳐 심각한 장애를 부르기 쉬웠기 때문입니다.

그러나 Anthropic의 Messages API 사례는 AI가 코드 번역을 맡고 인간이 실제 트래픽 기반의 동등성 테스트로 검증할 때 재작성의 위험 구조가 완전히 달라진다는 점을 보여줍니다. 구현 시간은 대폭 줄이면서 실제 트래픽 대조로 정확성을 보장할 수 있다면, CPU를 절반 가까이 아끼는 언어 전환을 미룰 이유가 없어집니다.