Depuis LiteLLM

Ce guide couvre la migration d'un déploiement LiteLLM (Proxy self-hosted ou LiteLLM Cloud) vers HiWay2LLM. Si ton équipe en a marre de maintenir la config du proxy, le Redis pour les rate limits, le Postgres pour les logs et la stack d'alerting — voici l'équivalent entièrement managé. Compte ~10 minutes pour le swap, plus le temps nécessaire pour ré-exprimer ta config fallback et observabilité dans le dashboard HiWay.

Étape 1 : récupère ta clé API HiWay

Ouvre Tableau de bord → Clés et clique sur Nouvelle clé. Copie la clé hw_live_ une fois — on ne stocke que son hash SHA-256.

Étape 2 : change ta config

Sur LiteLLM Proxy tu pointais ton app sur http://ton-proxy:4000 (ou l'endpoint LiteLLM Cloud) avec une master key sk-litellm-..., et LiteLLM dispatchait vers le bon upstream selon ton config.yaml. Sur HiWay tu pointes sur https://app.hiway2llm.com/v1 avec une clé hw_live_..., et le router dispatch selon tes providers activés et ton profil de routage — pas de YAML à maintenir.

from openai import OpenAI

client = OpenAI(
    base_url="https://app.hiway2llm.com/v1",
    api_key="hw_live_VOTRE_CLE",
)

response = client.chat.completions.create(
    model="auto",  # traduction des alias LiteLLM via "auto" + providers activés
    messages=[{"role": "user", "content": "Résume notre rapport Q3"}],
)

print(response.choices[0].message.content)

Étape 3 : vérifie

Envoie une requête, vérifie X-HiWay-Routed-Model sur la réponse, et ouvre Tableau de bord → Usage pour la voir apparaître. Si tu pipais tes logs LiteLLM vers Langfuse / Helicone / Datadog, tu peux maintenant lire les mêmes données depuis Tableau de bord → Analytics ou les récupérer via l'endpoint /v1/usage.

Gotchas spécifiques à LiteLLM

• Les customisations self-hosted disparaissent : si tu avais des callbacks custom, un dispatcher modifié ou patché la source LiteLLM, ça ne suit pas. HiWay est un service managé — l'avantage c'est fini la maintenance, l'inconvénient c'est que tu échanges cette surface pour notre feature set.
• `config.yaml` → paramètres dashboard : les credentials provider vont dans Paramètres → Fournisseurs, les alias de modèle sont remplacés par model: "auto" + sélection des providers activés, et les rate limits passent en paramètres par-clé dans Tableau de bord → Clés.
• Règles de fallback : le bloc fallbacks de LiteLLM est remplacé par le fallback automatique HiWay (retry sur le modèle le moins cher du même tier, max 2 retries). Si tu avais des chaînes de fallback élaborées avec des ordonnancements spécifiques, vérifie que le comportement par défaut couvre ton besoin — sinon épingle model explicitement dans le code.
• Hooks d'observabilité : les success_callback / failure_callback de LiteLLM (Langfuse, Helicone, S3) ne sont pas pluggables dans HiWay. À la place, tire les analytics depuis l'API HiWay (/v1/usage, /v1/events) et forwarde où tu veux.
• Master key vs clés par-service : si tu utilisais une seule master key LiteLLM pour tout, splitte maintenant — crée une clé hw_live_ par service dans Tableau de bord → Clés pour que Guardian et les rate limits puissent scoper par appelant.