Plateforme d'évaluation LLM d'entreprise

Évaluer, comparer et tracer des configurations LLM en environnement sécurisé et réglementé

→ Impact métier : Passage du prototype interne à une solution fiable, reproductible et exploitable en production.

Contexte métier

L’équipe devait évaluer, comparer et tracer des configurations LLM de façon fiable avant toute mise en production — sans plateforme, chaque choix de modèle restait une opinion.

Contraintes

Données sensibles
Identité d’entreprise obligatoire
Auditabilité
Reproductibilité
Sécurité au gate de release
Exploitation en production

Architecture

Diagramme d’architecture anonymisé — edge

Diagramme d’architecture — anonymisé

Composants : Python · FastAPI · Kubernetes · Helm · Argo CD · PostgreSQL · OAuth2/OIDC

Workflow d’évaluation

La plateforme exécute des configurations LLM comparables sur des jeux d’évaluation, mesure qualité et coût, et trace chaque run pour revue — la comparaison devient un fait reproductible, pas un débat.

Décisions d’architecture clés

Délégation complète de l’authentification à l’identité d’entreprise (OIDC/SSO)
Promotion entre environnements exclusivement par GitOps
Audit et reproductibilité des runs comme exigences de conception

Ma contribution

Architecture et intégration de l’authentification SSO/OIDC
Services backend Python / FastAPI
Déploiement Kubernetes (Helm, Argo CD)
Pipelines CI/CD avec contrôles de sécurité
Traçabilité des exécutions et des résultats

Résultats

Prototype mené à la production
Déploiements reproductibles via GitOps
Authentification d’entreprise opérationnelle
Aucune CVE critique au gate de release

Confidentialité

Les détails spécifiques au contexte (volumes, topologie, noms internes) ne sont pas publiables.

Learnings

La reproductibilité vaut plus que la vélocité dans un environnement réglementé.
Déléguer l’identité simplifie tout le reste de l’architecture de sécurité.