nyami.fr

/ de / work / cost-observability

Cost Observability — diese Seite, live

Wie ich agentische KI mit 5 $/Tag Budget betreibe — mit öffentlichem Kill Switch

→ Business Impact: KI-Budget auf den Rappen kontrolliert: Caps pro Besucher / Session / Seite, harter Kill Switch, öffentliche Kosten auf /eval.

Kunde
nyami.fr — diese Seite
Rolle
Architekt & Betreiber
Zeitraum
2026
Status
live

Geschäftskontext

Ein öffentlicher Agent an einem bezahlten LLM ist eine offene Kreditkarte im Internet. Hier ist Kostenkontrolle das Produkt — live auf dieser Seite.

Rahmenbedingungen

  • Strukturell gedeckeltes Budget
  • Null Ausgaben ohne geprüfte Quote
  • Öffentliche Transparenz
  • Kostenloser Edge-Worker, keine eigene Datenbank

Architektur

Anonymisiertes Architekturdiagramm — cost-observability

Architekturdiagramm — anonymisiert

Komponenten: Cloudflare Workers · KV · TypeScript · SSE

Kontroll-Workflow

Jede Anfrage passiert die Caps (Besucher, Session, Seite) VOR dem LLM-Aufruf; jeder Lauf wird verbucht; die Zähler speisen Dashboard und Kill Switch.

Zentrale Architekturentscheidungen

  • Quoten vor der Ausgabe verbraucht — Provider-Fehler erstatten den Slot nie
  • Mehrstufiger Kill Switch (auto Tag/Monat + manuell)
  • Transparenz als Default: Ausgaben und Status öffentlich

Mein Beitrag

  • Vollständige Architektur und Implementierung
  • Kosten-Policy pro Besucher-Tier
  • Öffentliches Dashboard und Endpoint ohne Auth

Ergebnisse

  • Strukturelles Limit 5 $/Tag
  • Kosten pro Antwort (~0,0003 $) sichtbar
  • Live für jedermann prüfbar

Vertraulichkeit

Alles ist öffentlich — /eval und der Kosten-Endpoint sind offen.

Learnings

  • Eine Kostengrenze wird zum Produktargument, wenn sie sichtbar ist.
  • Nur Vor-Ausgabe-Guardrails sind garantiert.

🚧 V-next — bereits in Arbeit

Dieses System liefert kontinuierlich — die nächsten Stufen sind schon auf der Werkbank. Schau wieder vorbei oder frag den Agenten nach dem Stand.

  • Multi-Modell-Routing — geplant für V1.1.
  • E-Mail-Alerts mit mehreren Schwellen — Aktivierung läuft.
  • Verstärkte Echtzeit-Aggregation der Zähler — V1.1.
Fortschritt live verfolgen →