Vercel AI SDK

UIs de chat streamées avec HiWay comme provider.

Le Vercel AI SDK livre un provider OpenAI-compatible que vous pouvez retargeter. Streamez les réponses, utilisez les React hooks, gardez le protocole SSE - HiWay proxy tout ça.

app/api/chat/route.ts

import { createOpenAI } from "@ai-sdk/openai";
import { streamText } from "ai";

const hiway = createOpenAI({
  baseURL: "https://app.hiway2llm.com/v1",
  apiKey: process.env.HIWAY_API_KEY,
});

export async function POST(req: Request) {
  const { messages } = await req.json();
  const result = streamText({
    model: hiway("auto"),
    messages,
  });
  return result.toDataStreamResponse();
}

Streaming end-to-end

HiWay supporte le streaming SSE nativement. La latence first-token est typiquement 80-250ms selon le tier routé - le routage ajoute moins de 5ms par-dessus.