Activer le cache sémantique

Cache vector store - disponible sur tous les packs.

Ouvrez Tableau de bord → Cache. Toggle *Cache sémantique on* et ajustez la finesse de correspondance (plus strict = moins de hits mais plus sûrs, plus lâche = plus de hits) et le TTL (défaut 24h).

Ce qu'il faut surveiller

  • Taux de hit dans Tableau de bord → Usage - cible 15-40% pour les apps chat typiques.
  • _hiway.cache_hit et _hiway.cache_similarity dans vos logs de réponse - sanity-check que des prompts similaires-mais-différents ne collident pas.
  • Journal d'éviction cache - quand les entrées expirent ou sont purgées manuellement.

Ne cachez pas les réponses personnalisées

Les réponses qui embarquent des données spécifiques à un utilisateur (nom de compte, solde, reco perso) ne doivent pas passer par le cache. Soit marquez-les avec cache: false dans le body de la requête, soit activez le masquage PII pour que la partie spécifique n'affecte pas la similarité.