Inférence ultra-rapide - Llama 3.3, Mixtral à 500+ tok/s.
Groq utilise ses propres puces LPU pour délivrer une inférence LLM beaucoup plus rapide que les GPUs classiques. Idéal pour les cas où la latence est critique (chatbots temps réel, audio-to-text, streaming). Ils hébergent des modèles open-source.
Créer une clé API
Dashboard → API Keys → Create API Key. Copiez la clé au format gsk_…
console.groq.com/keysColler dans HiWay2LLM
Dashboard → Clés API → Groq → collez la clé.
gsk_…| Modèle | Coût |
|---|---|
Llama 3.3 70B | $0.59 / 1M input · $0.79 / 1M output |
Llama 3.1 8B Instant | $0.05 / 1M input · $0.08 / 1M output |
Mixtral 8x7B | $0.24 / 1M input · $0.24 / 1M output |
Une fois votre clé copiée, allez dans Dashboard → Clés API → Ajouter une clé BYOK, sélectionnez Groq et collez la clé.
# Python - OpenAI SDK compatible
from openai import OpenAI
client = OpenAI(
base_url="https://app.hiway2llm.com/v1",
api_key="hw_live_YOUR_HIWAY_KEY",
)
# HiWay2LLM route votre requête via votre clé GROQ BYOK
response = client.chat.completions.create(
model="auto", # ou un modèle groq spécifique
messages=[{"role": "user", "content": "Bonjour !"}],
)
print(response.choices[0].message.content)