/ de / work / edge
Enterprise-LLM-Evaluationsplattform
LLM-Konfigurationen in sicherer, regulierter Umgebung evaluieren, vergleichen, nachverfolgen
→ Business Impact: Vom internen Prototyp zur zuverlässigen, reproduzierbaren Produktionslösung.
- Kunde
- Anonymisierte Berufserfahrung
- Rolle
- AI Engineer
- Zeitraum
- 2025 → heute
- Status
- production
- ✓ SSO domänenübergreifend
- ✓ Prod-grade CI/CD
- 0 kritische CVEs
- ✓ Verstärkte Nachvollziehbarkeit
Geschäftskontext
Das Team musste LLM-Konfigurationen zuverlässig evaluieren, vergleichen und nachverfolgen — ohne Plattform blieb jede Modellwahl eine Meinung.
Rahmenbedingungen
- Sensible Daten
- Enterprise-Identität verpflichtend
- Auditierbarkeit
- Reproduzierbarkeit
- Sicherheit am Release-Gate
- Produktionsbetrieb
Architektur
Architekturdiagramm — anonymisiert
Komponenten: Python · FastAPI · Kubernetes · Helm · Argo CD · PostgreSQL · OAuth2/OIDC
Evaluations-Workflow
Die Plattform führt vergleichbare LLM-Konfigurationen gegen Evaluationssets aus, misst Qualität und Kosten und verfolgt jeden Lauf — Vergleich wird reproduzierbarer Fakt statt Debatte.
Zentrale Architekturentscheidungen
- Vollständige Delegation der Authentifizierung an die Enterprise-Identität (OIDC/SSO)
- Environment-Promotion ausschließlich via GitOps
- Audit und Reproduzierbarkeit der Läufe als Design-Anforderung
Mein Beitrag
- Architektur und Integration der SSO/OIDC-Authentifizierung
- Python-/FastAPI-Backend-Services
- Kubernetes-Deployment (Helm, Argo CD)
- CI/CD-Pipelines mit Sicherheitskontrollen
- Nachverfolgbarkeit von Läufen und Ergebnissen
Ergebnisse
- Prototyp in Produktion überführt
- Reproduzierbare GitOps-Deployments
- Enterprise-Authentifizierung im Betrieb
- Keine kritische CVE am Release-Gate
Vertraulichkeit
Kontextspezifische Details (Volumen, Topologie, interne Namen) sind nicht publizierbar.
Learnings
- Reproduzierbarkeit schlägt Geschwindigkeit im regulierten Umfeld.
- Delegierte Identität vereinfacht den Rest der Sicherheitsarchitektur.
🚧 V-next — bereits in Arbeit
Dieses System liefert kontinuierlich — die nächsten Stufen sind schon auf der Werkbank. Schau wieder vorbei oder frag den Agenten nach dem Stand.
- Die öffentliche Fallstudie wächst mit den Freigaben.