Puntos clave
- MaxxBench reutiliza 89 problemas de ingeniería de DeepSWE con un requisito o un arranque de código ligeramente distinto.
- El mismo grupo de modelos, agrupado cerca del 74 % en DeepSWE, se abre 23 puntos porcentuales.
- Aún no hay descarga ni página oficial: solo un avance breve anunciado el 7 de noviembre de 2026.
Datos rápidos
| Autor | Justin Lo |
|---|---|
| Fecha | 7 de noviembre de 2026 |
| Tareas | 89 variantes de DeepSWE |
| Acceso | Sin build ni página pública |
| Categoría | IA y modelos |
| Creador | Justin Lo |
| Popularidad | 🔥 579,6K Popularidad |
| Publicado | |
| Última actualización |
La misma ingeniería, otro detalle
¿Buenos programando, o buenos en DeepSWE?
MaxxBench no inventa un examen nuevo desde cero. Parte de 89 tareas de DeepSWE y les introduce cambios pequeños: o en las instrucciones, o en el código con el que empieza el modelo. El problema de ingeniería sigue siendo el mismo; lo que cambia es un requisito cercano.
El ejemplo que usa el anuncio es concreto: si el modelo resuelve la tarea original, ¿aguanta que el nombre de un archivo pase a minúsculas? Esa es la idea del banco: ver si la puntuación sobrevive a una variación mínima del enunciado.
Por qué 23 puntos cambian la lectura
En DeepSWE esos modelos se concentraban alrededor del 74 %. En MaxxBench la misma cohorte se separa 23 puntos porcentuales. Según el avance, Opus 5.5 es el que se mantiene más estable ante esas perturbaciones.
La lectura que propone Justin Lo es directa: una nota alta en DeepSWE puede medir familiaridad con ese banco tanto como capacidad general de programar. MaxxBench sirve para separar ambas cosas sin cambiar de dominio.
- Agrupados en el original
En DeepSWE el grupo queda cerca del 74 %, así que el ranking apenas distingue.
- Abiertos en la variante
Con el requisito ligeramente distinto, la diferencia llega a 23 puntos porcentuales.
- El más estable
Opus 5.5 es el modelo que mejor aguanta estos cambios pequeños, según el avance.
| Banco | Qué muestra |
|---|---|
| DeepSWE | Modelos muy juntos, cerca del 74 % |
| MaxxBench | Mismo problema, requisito alterado; hasta 23 puntos de separación |
Qué puedes hacer hoy y qué falta
No hay build público, descarga ni página oficial. Hasta ahora MaxxBench solo se ha mostrado en un video corto de avance, con el anuncio del 7 de noviembre de 2026. No hay pesos, API ni app que puedas abrir para repetir las 89 tareas.
Tampoco está publicada la lista completa de perturbaciones ni el desglose de cada modelo más allá de esa brecha de 23 puntos y de la estabilidad de Opus 5.5. Hasta que exista un sitio o un paquete, el banco es una propuesta de evaluación, no una herramienta que puedas correr.
Preguntas frecuentes
¿MaxxBench sustituye a DeepSWE?
No. Reutiliza 89 tareas de DeepSWE y solo cambia un poco las instrucciones o el código inicial para ver si la puntuación se sostiene.
¿Dónde se consulta el resultado completo?
Todavía no hay página oficial ni paquete descargable. Lo conocido sale del avance del 7 de noviembre de 2026.
