MaxxBench erklärt: Was 89 DeepSWE-Varianten über Modelle sagen

Dieselbe Ingenieursaufgabe, andere Kleinigkeit

Gut im Programmieren oder nur gut bei DeepSWE?

MaxxBench ist kein neues Sprachmodell, sondern ein gestörter DeepSWE-Benchmark von Justin Lo. Aus 89 Programmieraufgaben bleiben das technische Problem und das Ziel gleich, nur die Anforderung verschiebt sich minimal: entweder in der Aufgabenstellung oder im mitgelieferten Startcode.

Als Beispiel nennt Lo die Frage, ob eine Lösung auch einen Dateinamen in Kleinbuchstaben verkraftet. Wer die Originalaufgabe auswendig oder entlang einer festen Formulierung löst, stolpert genau an solchen Details.

• Anweisung

  Der Aufgabentext wird nur leicht umformuliert, das eigentliche Engineering-Problem bleibt.

• Startcode

  Der vorgegebene Code wird kleinteilig geändert, ohne die Aufgabe auszutauschen.

• Prüffrage

  Hält das Modell die Lösung, wenn eine Nebenbedingung wie die Schreibweise eines Dateinamens kippt?

Warum ähnliche DeepSWE-Werte auseinanderfallen

Auf dem unveränderten DeepSWE liegen die verglichenen Modelle gebündelt um etwa 74 Prozent. Auf MaxxBench öffnet sich zwischen denselben Modellen ein Abstand von 23 Prozentpunkten. Ein hoher DeepSWE-Wert sagt damit wenig darüber, wie stabil die Lösung bei einer kleinen Abweichung bleibt.

In dieser Vorschau gilt Opus 5.5 als das stabilste Modell. Die Ankündigung liefert kein vollständiges Ranking und keine Einzelwerte pro Aufgabe, nur diese Spreizung und die Einordnung von Opus 5.5.

Zugang, Nutzen und offene Punkte

Du kannst MaxxBench derzeit nicht selbst starten. Eine öffentliche Fassung, ein Download und eine offizielle Seite gibt es nicht; Lo hat den Benchmark am 7. November 2026 nur in einem kurzen Vorschauvideo gezeigt. Preise, API und offene Gewichte entfallen, weil es sich um einen Test und nicht um ein Modell handelt.

Sinnvoll ist die Idee als Gegenprobe: Liegt ein Modell wegen der konkreten DeepSWE-Formulierung vorn oder weil es die Ingenieursaufgabe wirklich trägt? Offen bleibt, welche Modelle außer Opus 5.5 wo landen und ob sich die 23 Punkte über alle 89 Aufgaben gleich verteilen. Das steht in der Vorschau nicht.