Coste LLM a escala: qué pasa con 10B, 50B y 100B tokens/mes

La mayoría de guías de costes LLM se detienen en "aquí está el precio por millón de tokens para cada modelo". Eso es útil a escala de prototipo. A escala de producción - 10B, 50B, 100B tokens por mes - la aritmética de precios cambia de formas que no son obvias mirando los catálogos de tarifas.

Este artículo es la guía que me habría gustado tener cuando empezamos a alcanzar esos volúmenes.

La línea base: qué compra realmente 1 M$ en costes de tokens

Anclémonos en números reales de los principales proveedores a mayo de 2026.

GPT-4o: 2,50 $/1M input · 10 $/1M output
Claude Sonnet 4.6: 3 $/1M input · 15 $/1M output
Gemini 2.0 Pro: 1,25 $/1M input · 5 $/1M output
GPT-4o mini: 0,15 $/1M input · 0,60 $/1M output
Claude Haiku 4.5: 0,80 $/1M input · 4 $/1M output
Gemini Flash 2.0: 0,075 $/1M input · 0,30 $/1M output

Una carga de trabajo de producción típica tiene una relación 70/30 input/output. La tarifa mixta para "enviar 1M tokens por un modelo flagship" es aproximadamente 4-5 $/M tokens all-in.

A 10B tokens/mes por flagship: 40.000-50.000 $/mes. A 100B tokens/mes: 400.000-500.000 $/mes.

El insight del routing: no todos los tokens necesitan inteligencia flagship

Esto es lo que la mayoría de equipos descubre tarde: en una carga de trabajo de producción mixta, aproximadamente el 60-80 % de las peticiones no son tareas de nivel flagship.

• Inputs de usuario en un pipeline RAG: principalmente prompts de recuperación
• Clasificación de documentos a escala: seguimiento de reglas, no razonamiento
• Extracción estructurada de formularios: repetitivo, baja complejidad
• Respuestas cortas de soporte al cliente: relleno de plantillas
• Llamadas de herramientas internas: despacho de funciones con esquemas conocidos

Estas tareas corren en modelos mini/flash a un coste 10-20× menor por token. El otro 20-40 % - razonamiento complejo, tareas de agentes de múltiples pasos, generación matizada - genuinamente necesita capacidad flagship.

Un router inteligente que puntúa la complejidad de las peticiones y enruta en consecuencia captura la mayor parte de esa diferencia sin sacrificar calidad.

El cálculo a tres escalas

10B tokens/mes

Todo en flagship (sin routing inteligente): ~47.500 $/mes

Con routing inteligente (65 % redirigidos a mini/flash): ~25.600 $/mes → 45 % de ahorro

Con routing agresivo (80 % redirigidos): ~10.640 $/mes → 78 % de ahorro

50B tokens/mes

La diferencia entre "sin routing" y "routing agresivo" es 1,3-2,2 M$/año a esta escala.

100B tokens/mes

A 100B tokens/mes, un router bien configurado ahorra 4,4 M$/año frente a enrutar todo a flagships.

La diferencia BYOK a escala

A 50-100B tokens/mes, la pregunta más importante es: ¿pagas al por mayor o al por menor?

Un gateway revendedor (OpenRouter, etc.) compra inferencia al por mayor y te la revende con margen. A 100B tokens/mes, incluso un margen del 5 % son 23.750 $/mes - 285.000 $/año - encima del coste real de inferencia.

Un gateway BYOK (HiWay) enruta tus llamadas a través de tus propias cuentas de proveedor a tarifas mayoristas. Pagas directamente a los proveedores. El gateway cobra una suscripción plana, no un porcentaje por token. A escala, esta es la diferencia estructural que hace funcionar el cálculo.

El prompt caching a gran escala

A 50-100B tokens/mes, una segunda optimización se vuelve significativa: el prompt caching.

Si tienes system prompts o ventanas de contexto grandes que se repiten entre peticiones, el prompt caching (Anthropic, OpenAI) almacena esos tokens en caché del lado del servidor y cobra un 75-90 % menos en los cache hits. Combinado con routing inteligente, esto puede llevar el ahorro total por encima del 85 % en workloads adecuados.