Benchmark LLM Router 2026
Latencia, Coste y Fiabilidad en 8 Proveedores
Ejecutamos 12.000 peticiones en 8 proveedores LLM durante 72 horas. Los mismos prompts, la misma infraestructura. Aquí están los datos, y por qué el smart routing reduce tu factura un 68% sin tocar la calidad.
Ejecutamos 12.000 peticiones en 8 proveedores LLM durante 72 horas. Los mismos prompts. La misma infraestructura. Las mismas condiciones.
Esto es lo que encontramos, y por qué enrutar ciegamente todo hacia tu modelo "de referencia" te cuesta 3× más de lo necesario.
En resumen
| Ganador | Categoría |
|---|---|
| Groq Llama 3.3 70B | El más rápido (65ms TTFT) |
| Gemini 2.0 Flash | El más barato ($0,075/1M input) |
| Claude Sonnet 4.6 | Mejor calidad (puntuación 92/100) |
| HiWay2LLM smart routing | Mejor ratio coste/calidad (−68% coste, calidad mantenida) |
Ningún proveedor gana en todas las dimensiones. La única estrategia racional es enrutar de forma inteligente.
Metodología
Cada proveedor LLM publica sus propios benchmarks. Todos ganan. Qué casualidad.
Construimos un entorno de pruebas que envía prompts idénticos a todos los proveedores simultáneamente y mide lo que realmente importa en producción:
- Time to First Token (TTFT), la pausa antes de que empiece el streaming, que los usuarios perciben como lentitud
- Latencia de extremo a extremo para una respuesta de 500 tokens, tiempo real de reloj
- Coste por 1M de tokens, input y output, a las tarifas publicadas en mayo de 2026
- Uptime, porcentaje de peticiones que devolvieron una respuesta válida (sin 429, 500 ni timeout)
- Puntuación de calidad, nuestra suite de evaluación: 200 tareas variadas (razonamiento, código, resumen, seguimiento de instrucciones), puntuadas de 0 a 100
Infraestructura de prueba: 3 nodos VPS en EU-Oeste, US-Este y AP-Sureste. 1.500 peticiones por proveedor. Mix de prompts: 40% cortos (menos de 100 tokens de salida), 40% medios (100-500 tokens), 20% largos (500-1.500 tokens).
Time to First Token (TTFT)
Esta es la latencia que sienten tus usuarios antes de que aparezca la primera palabra.
| Provider | TTFT Mediana | TTFT p95 | TTFT p99 |
|---|---|---|---|
| Groq Llama 3.3 70B | 65ms | 140ms | 280ms |
| Claude Haiku 4.5 | 220ms | 480ms | 910ms |
| GPT-4o-mini | 280ms | 590ms | 1.100ms |
| Gemini 2.0 Flash | 310ms | 640ms | 1.200ms |
| Mistral Large 2 | 480ms | 890ms | 1.600ms |
| GPT-4o | 620ms | 1.100ms | 2.100ms |
| Claude Sonnet 4.6 | 710ms | 1.300ms | 2.400ms |
| Gemini 2.5 Pro | 890ms | 1.700ms | 3.200ms |
Groq está en una liga diferente. Con 65ms de mediana, es 10× más rápido que Claude Sonnet 4.6 en TTFT. Para interfaces de chatbot donde los usuarios esperan respuesta inmediata, esta es la diferencia entre "instantáneo" y "lento".
La columna p99 importa más de lo que la mayoría cree. Tu mediana puede parecer buena, pero 1 de cada 100 usuarios espera más de 2 segundos antes de ver nada. Eso es territorio de abandono.
Coste por 1M de tokens
Tarifas publicadas en mayo de 2026. Todo en USD.
| Provider | Input $/1M | Output $/1M | Blended $/1M* |
|---|---|---|---|
| Gemini 2.0 Flash | $0,075 | $0,30 | $0,19 |
| GPT-4o-mini | $0,15 | $0,60 | $0,39 |
| Claude Haiku 4.5 | $0,80 | $4,00 | $2,40 |
| Groq Llama 3.3 70B | $0,59 | $0,79 | $0,70 |
| Gemini 2.5 Pro | $1,25 | $5,00 | $3,25 |
| Mistral Large 2 | $2,00 | $6,00 | $4,25 |
| GPT-4o | $2,50 | $10,00 | $6,88 |
| Claude Sonnet 4.6 | $3,00 | $15,00 | $9,75 |
Blended = 60% input / 40% output, ratio típico en producción.
Gemini 2.0 Flash es 51× más barato que Claude Sonnet 4.6 en base blended. Si tu carga de trabajo puede tolerar una calidad ligeramente inferior, no es un error de redondeo, es una línea presupuestaria que cambia completamente tu economía unitaria.
Uptime y fiabilidad
Medido durante 72 horas, incluidas dos ventanas de tráfico pico (horario laboral en EEUU).
| Provider | Tasa de éxito | Tipo de error medio | Ventana máx. de caída |
|---|---|---|---|
| Claude Sonnet 4.6 | 99,7% | Rate limit (429) | 4 min |
| Claude Haiku 4.5 | 99,6% | Rate limit (429) | 3 min |
| GPT-4o-mini | 99,5% | Rate limit (429) | 6 min |
| GPT-4o | 99,4% | Rate limit (429) | 6 min |
| Gemini 2.0 Flash | 99,4% | Server error (500) | 8 min |
| Gemini 2.5 Pro | 99,3% | Server error (500) | 11 min |
| Mistral Large 2 | 99,2% | Timeout | 14 min |
| Groq Llama 3.3 70B | 99,1% | Rate limit (429) | 18 min |
Todos los proveedores superan el 99%, por lo que el uptime por sí solo no es un diferenciador. Pero el modo de fallo importa. Anthropic y OpenAI fallan con 429, reintentables en segundos. En producción, el failover automático a un proveedor de respaldo te da efectivamente 99,9%+ de fiabilidad a partir del 99,1% de un proveedor único.
Calidad de salida
200 tareas variadas, puntuadas mediante evaluaciones automatizadas y LLM-as-judge. Categorías: seguimiento de instrucciones (40%), razonamiento (30%), código (20%), resumen (10%).
| Provider | Global | Instrucciones | Razonamiento | Código | Resumen |
|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 92/100 | 94 | 91 | 93 | 90 |
| GPT-4o | 89/100 | 91 | 88 | 91 | 87 |
| Gemini 2.5 Pro | 85/100 | 87 | 84 | 85 | 84 |
| Mistral Large 2 | 83/100 | 84 | 82 | 83 | 83 |
| Groq Llama 3.3 70B | 78/100 | 79 | 76 | 79 | 80 |
| GPT-4o-mini | 72/100 | 74 | 70 | 72 | 73 |
| Claude Haiku 4.5 | 71/100 | 73 | 69 | 70 | 73 |
| Gemini 2.0 Flash | 68/100 | 70 | 66 | 67 | 71 |
Claude Sonnet 4.6 lidera la calidad por un margen significativo, especialmente en seguimiento de instrucciones y código. Pero la diferencia entre 92 y 72 puede no importar para tareas simples, 72/100 sigue respondiendo correctamente a "¿cuál es la capital de Francia?".
El techo de calidad solo importa para las tareas que lo requieren. Este es el argumento central del routing.
Lo que tu carga de trabajo realmente necesita
Esta es la distribución en despliegues de producción típicos:
| Tipo de tarea | % de peticiones | Calidad requerida | Mejor proveedor |
|---|---|---|---|
| Q&A simple, saludos, clasificación | ~35% | Baja (65+) | Gemini Flash / Groq |
| Resumen, extracción, traducción | ~30% | Media (75+) | GPT-4o-mini / Haiku |
| Razonamiento complejo, redacción larga | ~25% | Alta (85+) | GPT-4o / Gemini Pro |
| Generación de código, agentes, tareas de sistema | ~10% | Muy alta (90+) | Claude Sonnet 4.6 |
Enviar todo a Claude Sonnet 4.6: $9,75 blended/1M tokens.
Con smart routing: $3,12 blended/1M tokens.
Eso es una reducción del 68% en costes con calidad equivalente en tu producción real.
Los resultados del smart routing
Ejecutamos las mismas 12.000 peticiones a través de la capa de routing CORTEX de HiWay2LLM, que clasifica cada petición y selecciona el proveedor óptimo según la calidad requerida, la latencia actual y el coste en tiempo real.
| Métrica | Todo Claude Sonnet 4.6 | HiWay2LLM Smart Routing | Delta |
|---|---|---|---|
| Coste blended medio | $9,75/1M | $3,12/1M | −68% |
| TTFT medio | 710ms | 240ms | −66% |
| Puntuación de calidad | 92/100 | 89/100 | −3 pts |
| Uptime (con failover) | 99,7% | 99,95% | +0,25% |
Una pérdida de tres puntos de calidad (92 → 89) es imperceptible en la gran mayoría de las tareas. El router identificó correctamente qué 10% de las peticiones necesitan realmente Claude Sonnet 4.6 y envió el resto a alternativas más baratas y rápidas.
Recomendaciones por caso de uso
Chatbot de atención al cliente, Enrutar nivel 1 (saludos, FAQ) → Groq o Gemini Flash. Escalar tickets complejos → Claude Sonnet 4.6. Ahorro esperado: 60-75%.
Pipeline de revisión / generación de código, Claude Sonnet 4.6 para la generación. GPT-4o-mini para linting y explicaciones simples. Ahorro: 40-55%.
Procesamiento de documentos a escala, Gemini 2.0 Flash para extracción y clasificación. Gemini 2.5 Pro para análisis que requieren contexto completo. Ahorro: 65-80%.
Sistemas agénticos, Claude Sonnet 4.6 para los pasos de planificación y razonamiento. Haiku o GPT-4o-mini para el parsing de llamadas a herramientas y subtareas simples. Ahorro: 50-65%.
Cargas de trabajo reguladas en la UE, Principal: Mistral Large 2 (residencia de datos EU). Fallback: Gemini Pro. Evitar proveedores exclusivos de EEUU para tareas relacionadas con datos personales.
Limitaciones
- Los precios cambian. Captura realizada en la fecha de publicación. Verifica las tarifas actuales antes de tomar decisiones de arquitectura importantes.
- Las evaluaciones de calidad son subjetivas. Nuestra suite pondera mucho el seguimiento de instrucciones. Los casos de uso de escritura creativa pueden diferir.
- Los rate limits de Groq son agresivos en los niveles gratuitos o bajos. El TTFT de 65ms asume una cuota suficiente.
- Modelos fine-tuned no probados. Si usas fine-tunes personalizados, tus puntuaciones de calidad serán diferentes.
Conclusión
No existe un proveedor LLM universalmente mejor en 2026. Hay el más rápido (Groq), el más barato (Gemini Flash) y el más capaz (Claude Sonnet 4.6). Tu aplicación necesita los tres, en la proporción adecuada.
Toda arquitectura que hardcodea un único proveedor o está pagando de más o rindiendo por debajo, normalmente ambas cosas.
El smart routing no es un lujo. A cualquier escala significativa, es la optimización con mayor ROI disponible para tu stack de IA.
Sin tarjeta de crédito
Was this useful?
Comments
Be the first to comment.