Puntos clave
- El mejor modelo solo logra un 12%: SemiAnalysis lanza el exigente benchmark «GDPx» (Publicado por: SemiAnalysis (firma de análisis de semiconductores e IA); Alcance: 206 tareas reales de extremo a extremo en 11 sectores de alto valor económico).
- 206 tareas en 11 sectores económicos que evalúan entregables reales y no preguntas tipo test (Mejor puntuación actual: Incluso el modelo frontera más potente alcanza solo un 12%).
- Cómo usar el desglose de GDPx para decidir dónde mantener supervisión humana (Formato de evaluación: Califica entregables completos como modelos financieros y scripts de chips).
Datos rápidos
| Publicado por | SemiAnalysis (firma de análisis de semiconductores e IA) |
|---|---|
| Alcance | 206 tareas reales de extremo a extremo en 11 sectores de alto valor económico |
| Mejor puntuación actual | Incluso el modelo frontera más potente alcanza solo un 12% |
| Formato de evaluación | Califica entregables completos como modelos financieros y scripts de chips |
| Categoría | IA y modelos |
| Creador | SemiAnalysis |
| Sitio oficial | semianalysis.com ↗ |
| Popularidad | 🔥 672,5K Popularidad |
| Publicado | |
| Última actualización |
El mejor modelo solo logra un 12%: SemiAnalysis lanza el exigente benchmark «GDPx»
SemiAnalysis presentó GDPx, un exigente benchmark que evalúa agentes de IA en 206 tareas reales de 11 sectores económicos de alto valor, donde incluso el modelo más avanzado actual apenas alcanza un 12%.
206 tareas en 11 sectores económicos que evalúan entregables reales y no preguntas tipo test
En lugar de preguntas tipo test saturadas, GDPx califica entregables completos de principio a fin, como modelos financieros, scripts de verificación y análisis técnicos.
Cómo usar el desglose de GDPx para decidir dónde mantener supervisión humana
Consulta el desglose por sectores de GDPx para decidir en qué fases del flujo de trabajo sigue siendo imprescindible la revisión humana.
Preguntas frecuentes
¿Qué tareas reales evalúa Benchmark GDPx y qué puntuación logran los mejores modelos?
Publicado por: SemiAnalysis (firma de análisis de semiconductores e IA); Alcance: 206 tareas reales de extremo a extremo en 11 sectores de alto valor económico; Mejor puntuación actual: Incluso el modelo frontera más potente alcanza solo un 12%. En lugar de preguntas tipo test saturadas, GDPx califica entregables completos de principio a fin, como modelos financieros, scripts de verificación y análisis técnicos.
¿Qué enseña este benchmark para desplegar agentes de IA en empresas?
Formato de evaluación: Califica entregables completos como modelos financieros y scripts de chips. Consulta el desglose por sectores de GDPx para decidir en qué fases del flujo de trabajo sigue siendo imprescindible la revisión humana.
