Edge — Produktionsreife LLM-Evaluations-Plattform

→ Business Impact: Vom internen Prototyp zu einer Plattform, die in einem regulierten Bankumfeld einsetzbar ist — SSO propagiert, tamper-evident Audit, 0 kritische CVE am Gate.

Kontext

In einer europäischen Privatbank (Kunde unter NDA) brauchte das Team eine Plattform, um Sprachmodelle unter Produktionsbedingungen zu evaluieren — vergleichen, messen, tracen — in einer Umgebung, in der Auth, Audit und Reproduzierbarkeit nicht verhandelbar sind.

Diese Seite bleibt bewusst auf hoher Flughöhe. Technische Details und Demo auf Anfrage, unter NDA.

Technische Herausforderung

SSO-Propagation von einer Auth-Domain zu einer App-Domain ohne Re-Authentifizierung, unter Beachtung der OIDC-Vorgaben der Bank.
Prod-grade Infra: GitOps, reproduzierbare Deploys, Rollback.
Build-Chain ohne kritische CVEs, tamper-evident Audit-Log.

Lösung

Auth delegiert über oauth2-proxy / OIDC, domänenübergreifende Session-Propagation end-to-end kontrolliert.
Kubernetes-Deploys per GitOps (ArgoCD + Helm) — jedes Release reproduzierbar und reversibel.
FastAPI-Backend + PostgreSQL, Audit-Log mit verifizierbarer Integrität.
Gehärtete CI/CD: Dependency- und Image-Scans, 0 kritische CVE am Gate.

Ergebnis

SSO funktioniert in Produktion zwischen den beiden App-Domains.
Prod-grade CI/CD: reproduzierbare Builds, GitOps-Promotion, Rollback per Commit.
Sichere Chain: keine kritische CVE passiert das Security-Gate.
Tamper-evident Audit im Betrieb für die Nachvollziehbarkeit der Evaluationen.

Learnings & Trade-offs

Im Banking kommt Geschwindigkeit aus Rigorosität, nicht trotz. GitOps + automatisierte Gates = mehr Vertrauen, häufiger zu liefern.
Domänenübergreifende Auth ist der am meisten unterschätzte und am kritischsten Punkt einer internen Plattform.