Elon Musk llamó a Grok 4.5 un modelo de clase Opus que funciona más rápido y cuesta menos. Un benchmark independiente y agente ahora proporciona un respaldo real para esa afirmación.
En el AutomationBench-AA de Artificial Analysis, Grok 4.5 ocupó el primer lugar con un puntaje del 51.4% mientras costaba $0.34 por tarea. Superó tanto a Claude Fable 5 (48.6%) como a Claude Opus 4.8 (48.5%).
Una Verificación Independiente de la Afirmación de Elon Musk
SpaceXAI hizo público a Grok 4.5 esta semana, construido sobre su base de 1.5 billones de parámetros V9. La presentación de Musk se basó en evaluaciones internas tempranas.
AutomationBench-AA cambia eso. Artificial Analysis ejecuta el benchmark de manera independiente y mantiene su conjunto de tareas privado para prevenir la contaminación.
La prueba abarca 657 tareas en 40 aplicaciones simuladas, incluyendo Gmail, Slack, Salesforce y HubSpot. Evalúa la proporción de objetivos que un agente completa sin romper las restricciones.
Grok 4.5: Más Barato, Más Rápido y Mayormente Cumplidor
El costo de Grok 4.5 de $0.34 por tarea estaba muy por debajo de los $1.35 de Fable 5 y los $1.46 de Opus 4.8. Gemini 3.5 Flash fue el más cercano con $0.49.
El modelo utilizó alrededor de 8,000 tokens de salida por tarea, aproximadamente una cuarta parte del total de Opus 4.8. Esa eficiencia impulsa la mayor parte de la brecha de costos, coincidiendo con el marco que Musk utilizó en el lanzamiento.
“Su uso total de tokens de 0.44M por tarea está entre los más bajos en la tabla de clasificación. El bajo costo se debe a esta eficiencia así como a los bajos precios de los tokens,” dijo Artificial Analysis.
Además, Grok 4.5 completó el 79.9% de los objetivos de la tarea y aprobó completamente el 21.9% de las tareas. En Finanzas, el dominio más difícil, lideró con un 71%, por delante del 64% de Fable 5 y el 62% de Opus 4.8.
Sin embargo, el modelo rompió más reglas que sus rivales más cercanos. Registró 0.63 violaciones de guardrails por tarea, por encima del 0.55 de Opus 4.8 y el 0.46 de Gemini 3.5 Flash.
Esa brecha es importante para las empresas que despliegan agentes en sistemas financieros en vivo, donde una sola violación puede incurrir en costos reales.
Fuente: BeInCrypto
