MaxxBenchとは？DeepSWE改変で開く23ポイント差

同じ課題を、少しだけずらす

コーディングが得意なのか、DeepSWEが得意なのか。

MaxxBenchは、DeepSWEの89問に小さな変更を加えたプログラミング評価です。工学上の課題そのものは同じで、指示文か出発点のコードだけを変えます。紹介では、ファイル名を小文字にしただけで解けるかどうか、という例が挙がっています。

狙いは、ベンチマークの文言や初期状態に寄りすぎた正解と、要求が少し変わっても通る実装とを分けて見ることです。Justin Lo氏は、DeepSWEで近い成績のモデルがMaxxBenchでは大きく割れる、と述べています。

74%付近から23ポイント開く

プレビューでは、DeepSWEの正答率が74%前後に集まっていたモデルが、MaxxBenchでは23ポイント離れています。編集メモでは、そのなかでいちばん安定していたのはOpus 5.5だとされています。個別の点数表や、ほかのモデル名は公開されていません。

つまり、元のセットで似た数字が出ても、指示や初期コードを少し変えたあとでは順位も差も変わり得ます。MaxxBenchが問うているのは、その差が実装の頑健さなのか、DeepSWE固有の型への慣れなのか、という一点です。

• 元のDeepSWE

  対象モデルは74%前後に集まって見えていました。

• MaxxBench

  同じ89問を小さく変えると、成績は最大23ポイント離れます。

• 安定したモデル

  公開情報の範囲では、Opus 5.5がもっとも安定していました。

まだプレビューだけの評価

2026年11月7日時点で、ダウンロードできるビルドも、問題一式を置いた公式ページも出ていません。見られるのは短いプレビューと発表内容だけで、再現手順や採点条件は外から確認できません。

89問という規模、変更の大きさ、DeepSWE以外の課題でも同じ割れ方になるかは、これから確かめる余地があります。利用するには、問題セットと採点方法が公開されるのを待つ段階です。