Cost Observability — ce site, en live

Comment je fais tourner de l’IA agentique avec un budget de 5 $/jour — et un kill switch public

→ Impact métier : Budget IA maîtrisé au centime : caps par visiteur / session / site, kill switch dur, coûts publics sur /eval.

Contexte métier

Un agent public branché sur un LLM payant est une carte bancaire ouverte sur Internet. Ici, le contrôle des coûts est le produit — et il tourne en live sur ce site.

Contraintes

Budget plafonné structurellement
Zéro dépense sans quota vérifié
Transparence publique
Worker edge gratuit, pas de base dédiée

Architecture

Diagramme d’architecture anonymisé — cost-observability

Diagramme d’architecture — anonymisé

Composants : Cloudflare Workers · KV · TypeScript · SSE

Workflow de contrôle

Chaque requête passe les caps (visiteur, session, site) AVANT l’appel LLM ; chaque exécution est comptabilisée ; les compteurs alimentent le dashboard public et le kill switch.

Décisions d’architecture clés

Quotas consommés avant la dépense — un échec provider ne rembourse pas le slot
Kill switch multi-niveaux (auto jour/mois + manuel)
Transparence par défaut : dépenses et état publics

Ma contribution

Architecture et implémentation complètes
Policy de coûts par tiers de visiteur
Dashboard public et endpoint sans auth

Résultats

Plafond structurel 5 $/jour
Coût par réponse (~0,0003 $) affiché au visiteur
Vérifiable par quiconque, en direct

Confidentialité

Tout est public — /eval et endpoint de coût ouverts.

Learnings

La contrainte de coût est un argument produit quand elle est visible.
Les garde-fous pré-dépense sont les seuls garantis.