Coût LLM à grande échelle : ce qui se passe à 10B, 50B et 100B tokens/mois

La plupart des guides sur les coûts LLM s'arrêtent à "voici le prix par million de tokens pour chaque modèle". C'est utile à l'échelle du prototype. À l'échelle de la production - 10B, 50B, 100B tokens par mois - l'arithmétique des prix change d'une manière qui n'est pas évidente à partir des tarifs publiés.

Cet article est le guide que j'aurais aimé avoir quand on a commencé à atteindre ces volumes.

La baseline : ce qu'achète vraiment 1 M$ de coûts en tokens

Ancrons-nous sur des chiffres réels des principaux fournisseurs en mai 2026.

GPT-4o : 2,50 $/1M input · 10 $/1M output
Claude Sonnet 4.6 : 3 $/1M input · 15 $/1M output
Gemini 2.0 Pro : 1,25 $/1M input · 5 $/1M output
GPT-4o mini : 0,15 $/1M input · 0,60 $/1M output
Claude Haiku 4.5 : 0,80 $/1M input · 4 $/1M output
Gemini Flash 2.0 : 0,075 $/1M input · 0,30 $/1M output

Une charge de travail de production typique a un ratio 70/30 input/output. Le taux mixte pour "envoyer 1M tokens via un modèle flagship" est grosso modo 4-5 $/M tokens all-in.

À 10B tokens/mois sur un flagship : 40 000-50 000 $/mois. À 100B tokens/mois : 400 000-500 000 $/mois.

L'insight routage : tous les tokens n'ont pas besoin d'un flagship

Voici ce que la plupart des équipes découvrent trop tard : dans une charge de travail de production mixte, environ 60-80 % des requêtes ne sont pas des tâches de niveau flagship.

• Inputs utilisateur dans un pipeline RAG : prompts de récupération en majorité
• Classification de documents à grande échelle : suivi de règles, pas raisonnement
• Extraction structurée de formulaires : répétitif, faible complexité
• Réponses courtes au support client : remplissage de modèles
• Appels d'outillage interne : dispatch de fonctions avec schémas connus

Ces tâches tournent sur des modèles mini/flash à 10-20× moins cher par token. Les autres 20-40 % - raisonnement complexe, tâches d'agents multi-étapes, génération nuancée - ont genuinement besoin de la capacité flagship.

Un router intelligent qui évalue la complexité des requêtes et route en conséquence capture la majorité de cet écart sans sacrifier la qualité.

Le calcul à trois échelles

10B tokens/mois

Tout sur flagship (sans routing intelligent) :

• ~7B input @ 2,50 $ = 17 500 $
• ~3B output @ 10 $ = 30 000 $
• Total : ~47 500 $/mois

Avec routing intelligent (65 % redirigés vers mini/flash) :

• 3,5B input flagship @ 2,50 $ = 8 750 $
• 1,5B output flagship @ 10 $ = 15 000 $
• 4,55B input mini @ 0,15 $ = 682 $
• 1,95B output mini @ 0,60 $ = 1 170 $
• Total : ~25 600 $/mois - 45 % d'économie

Avec routing agressif (80 % redirigés) :

• 1,4B input flagship @ 2,50 $ = 3 500 $
• 0,6B output flagship @ 10 $ = 6 000 $
• 5,6B input flash @ 0,075 $ = 420 $
• 2,4B output flash @ 0,30 $ = 720 $
• Total : ~10 640 $/mois - 78 % d'économie

La variance est large car elle dépend fortement du mix de ta charge. Très agentique (beaucoup de raisonnement multi-étapes) = moins de potentiel de downgrade. Très pipeline (RAG, classification, extraction) = plus.

50B tokens/mois

À 5× le volume, les économies absolues deviennent significatives :

L'écart entre "sans routing" et "routing agressif" est 1,3-2,2 M$/an à cette échelle.

100B tokens/mois

À cette échelle, tu es probablement aussi en territoire de tarification enterprise négociée avec au moins un fournisseur. Voici les tarifs publics comme plafond :

À 100B tokens/mois, un router bien configuré économise 4,4 M$/an par rapport au routage tout-flagship.

Ce que le routage coûte réellement

Un router à cette échelle doit gérer :

• Latence de scoring : Le router doit décider quel modèle utiliser avant que le premier token parte. À fort QPS, cette décision doit être invisible pour l'utilisateur final. Un bon router le fait avec un classificateur léger, pas un second appel LLM.
• Overhead de routing : Un gateway à 10B tokens/mois gère des millions de requêtes par mois. C'est une vraie charge infrastructure.
• Orchestration de fallback : À grande échelle, les endpoints tombent régulièrement. Le router a besoin de circuit breakers et de chemins de fallback.

Pour un router géré comme HiWay2LLM, tu paies un markup dégressif sur ta dépense API (pas des frais par requête fixes) qui couvre tout ça. Le markup baisse à chaque palier de volume (12,5 % sous 500 $/mois, 10 % entre 500 et 5 000 $/mois, 10 % entre 5 000 et 20 000 $/mois, Enterprise négocié au-delà). Et le montant du markup baisse proportionnellement quand le smart routing coupe ta facture provider - le coût gateway reste donc toujours une fraction décroissante des économies générées.

La couche prompt caching

À 50-100B tokens/mois, une seconde optimisation devient significative : le prompt caching.

Si tu as des system prompts ou de grands contextes qui se répètent entre les requêtes, le prompt caching (Anthropic, OpenAI) met en cache ces tokens côté serveur et facture 75-90 % de moins sur les hits de cache. Sur un pipeline RAG avec une base de connaissance de 10K tokens répétée dans chaque requête, le coût effectif de la portion répétée tombe de 3 $/1M à 0,30 $/1M.

Combiné au routing intelligent, cela peut pousser les économies totales au-delà de 85 % sur les workloads adaptés.

La différence BYOK à grande échelle

Voici ce qui importe le plus à 50-100B tokens/mois : paies-tu en gros ou au détail ?

Un gateway revendeur (OpenRouter, etc.) achète l'inférence en gros et te la revend avec marge. À 100B tokens/mois, même une marge de 5 % représente 23 750 $/mois - 285 000 $/an - en plus du coût réel d'inférence.

Un gateway BYOK (HiWay) route tes appels via tes propres comptes de fournisseur aux tarifs de gros. Tu paies les fournisseurs directement. Le gateway facture un markup dégressif sur ta dépense API, pas une coupe par token de revendeur. À grande échelle, c'est la différence structurelle qui fait fonctionner le calcul : quand le smart routing coupe ta facture provider, le montant du markup baisse proportionnellement aussi.