Un 200 OK n'est pas une bonne réponse : router les LLM sur la qualité, pas juste le coût
Un routing pas cher qui ignore la qualité, c'est une taxe que tu paies plus tard, en mauvaises réponses

Toutes les histoires de réduction de coûts LLM finissent pareil : « on est passé à un modèle moins cher et on a économisé 60 % ». Presque personne n'écrit la suite, celle où les tickets de support remontent deux semaines plus tard et où l'équipe rebascule la moitié en douce.

La raison, c'est un chiffre que la plupart des équipes ne suivent jamais. Pas le coût. Pas la latence. Pas le taux d'erreur. La qualité.

Un appel réussi n'est pas une bonne réponse

Un modèle moins cher renvoie un 200 OK. Le pipeline est vert, la latence est belle, la facture baisse. Tout le monde est content.

Sauf que la réponse était superficielle, ou subtilement fausse, ou ne traitait que la moitié de la question. Aucune exception levée. Aucune alerte. Ton produit est juste devenu un peu moins bon, une réponse à la fois.

C'est la taxe cachée du routing au coût naïf. Tu optimises la facture et tu la repaies là où tu ne mesures pas : reprise, escalades, un utilisateur qui fait un peu moins confiance à chaque fois.

Pas cher n'est pas synonyme de suffisant, et pas partout

Pour une grande partie des tâches, un petit modèle est vraiment aussi bon qu'un flagship : classification, extraction, résumés courts, formatage de routine. Router ça vers le bas, c'est de l'argent gratuit, et tu dois le prendre.

Pour d'autres, raisonnement soigné, écriture nuancée, tool-use multi-étapes, l'écart est réel. Route ça vers le bas et tu le sens dans le résultat.

Le plus dur : la frontière entre les deux est différente pour chaque workload, et elle bouge à chaque mise à jour de modèle. Une règle figée « le modèle pas cher pour tout » c'est exactement comme ça que tu finis par écrire la suite du rebascule.

On ne suppose pas la qualité. On la mesure.

HiWay note la qualité réelle des sorties des modèles de ton mix de routage. Un juge IA indépendant évalue un échantillon de vraies réponses sur ce qui compte pour un utilisateur, précision, complétude et pertinence, pour qu'un modèle qui renvoie une réponse assurée mais faible soit classé sous un modèle qui répond vraiment bien.

Ce signal alimente le routeur. Il apprend le meilleur modèle qualité/prix pour chaque type de tâche dans ton workspace, et continue d'apprendre à mesure que ton trafic et le paysage des modèles changent.

Le résultat, c'est ce qui rend les économies durables : tu captes la remise exactement là où un modèle moins cher est vraiment suffisant, et tu gardes le modèle fort exactement là où il vaut son prix. Routé sur la qualité, pas juste sur le coût.

Pourquoi « indépendant » est tout l'enjeu

Un modèle qui note son propre travail se flatte. Si le signal qualité vient du même modèle qui a produit la réponse, tu mesures la confiance, pas la justesse. Le jugement doit venir de l'extérieur du modèle jugé, sur les dimensions qui comptent pour un utilisateur, pas sur la seule question que posent la plupart des routeurs : « a-t-il renvoyé quelque chose ? ».

Ce que ça change pour toi

• Tu arrêtes de choisir entre pas cher et bon. Tu obtiens pas cher là où c'est sûr et fort là où ça compte, décidé par tâche, automatiquement.
• Les économies tiennent, parce qu'elles ne sont pas payées par une régression de qualité silencieuse qui ressort un mois plus tard en churn.
• Ça s'adapte. Quand un nouveau modèle sort ou qu'un ancien dérive, la mesure le détecte avant tes utilisateurs.

Réduire ta facture LLM, c'est facile. La réduire sans dégrader discrètement ton produit, c'est le vrai boulot. C'est ça, la différence entre router sur le coût et router sur la qualité.

---

À lire aussi : The Silent Burn : un agent zombie a tourné 4 jours, Les maths cachées du pricing LLM.