핵심 요약

  • 최강 모델도 정답률 12%: SemiAnalysis, 실전 에이전트 벤치마크 『GDPx』 공개 (발표 기관: SemiAnalysis (반도체·AI 전문 분석 기관), 벤치마크 규모: 11개 고부가가치 산업 분야, 총 206개 실전 엔드투엔드 과제).
  • 11개 산업 206개 실무 과제로 객관식 암기가 아닌 최종 산출물 완결성을 평가 (현재 최고 성적: 현존 최상위 프론티어 모델도 통과율 12%에 불과).
  • 기업 자동화 도입 시 인간 검수(Human-in-the-Loop)가 반드시 필요한 구간 판별하기 (평가 방식: 객관식 시험이 아닌 재무 모델링·칩 검증 스크립트 등 최종 산출물 채점).

한눈에 보기

발표 기관SemiAnalysis (반도체·AI 전문 분석 기관)
벤치마크 규모11개 고부가가치 산업 분야, 총 206개 실전 엔드투엔드 과제
현재 최고 성적현존 최상위 프론티어 모델도 통과율 12%에 불과
평가 방식객관식 시험이 아닌 재무 모델링·칩 검증 스크립트 등 최종 산출물 채점
카테고리AI·모델
제작자SemiAnalysis
공식 사이트semianalysis.com ↗
화제도🔥 화제도 67만
공개일
최종 업데이트

최강 모델도 정답률 12%: SemiAnalysis, 실전 에이전트 벤치마크 『GDPx』 공개

반도체·AI 분석 기관 SemiAnalysis가 고부가가치 산업 11개 분야의 실무 과제 206개로 AI 에이전트 역량을 평가하는 『GDPx』 벤치마크를 공개했습니다. 현존 최고 성능의 모델조차 정답률이 12%에 불과할 만큼 까다로운 실전형 지표입니다.

11개 산업 206개 실무 과제로 객관식 암기가 아닌 최종 산출물 완결성을 평가

기존의 객관식 시험과 달리 재무 모델링, 반도체 검증 스크립트 작성 등 다단계 도구를 거쳐 완성해야 하는 최종 결과물을 채점하기 때문에 실제 업무 자동화 수준을 냉정하게 보여줍니다.

기업 자동화 도입 시 인간 검수(Human-in-the-Loop)가 반드시 필요한 구간 판별하기

기업에서 에이전트 자동화를 도입할 때는 GDPx의 도메인별 성적표를 참고해 아직 성공률이 낮은 장시간 작업 구간에 반드시 사람의 검수 단계를 배치하는 것이 좋습니다.

자주 묻는 질문

GDPx 벤치마크는 어떤 실무 과제를 평가하며 최상위 모델 성적은 어떠한가요?

발표 기관는 SemiAnalysis (반도체·AI 전문 분석 기관), 벤치마크 규모는 11개 고부가가치 산업 분야, 총 206개 실전 엔드투엔드 과제, 현재 최고 성적는 현존 최상위 프론티어 모델도 통과율 12%에 불과입니다. 기존의 객관식 시험과 달리 재무 모델링, 반도체 검증 스크립트 작성 등 다단계 도구를 거쳐 완성해야 하는 최종 결과물을 채점하기 때문에 실제 업무 자동화 수준을 냉정하게 보여줍니다.

이 벤치마크 결과가 기업의 에이전트 도입에 주는 시사점은 무엇인가요?

평가 방식는 객관식 시험이 아닌 재무 모델링·칩 검증 스크립트 등 최종 산출물 채점입니다. 기업에서 에이전트 자동화를 도입할 때는 GDPx의 도메인별 성적표를 참고해 아직 성공률이 낮은 장시간 작업 구간에 반드시 사람의 검수 단계를 배치하는 것이 좋습니다.