Déploiement et supervision des modèles

Séquence 1 — Choisir le mode de service

• Par lots, en ligne, en flux : les trois modes et ce que chacun impose
• Latence visée, volume, fraîcheur : les trois axes de la décision
• Le coût réel de l'inférence, souvent sous-estimé face à celui de l'entraînement
• Quand une prédiction précalculée remplace avantageusement un service en ligne

Séquence 2 — Dimensionner le service

• Ressources : processeur ou accélérateur, mémoire, et le seuil où l'accélérateur devient rentable
• Mise en lot dynamique : gagner en débit sans dépasser la latence promise
• Montée en charge et démarrage à froid : le piège des services d'inférence
• Dégradation maîtrisée : que renvoyer quand le modèle est indisponible

Séquence 3 — Déployer

• Ombre : mesurer sans servir, la seule façon de comparer sur le trafic réel
• Canari : servir à une fraction, et le critère de promotion écrit à l'avance
• Bascule et retour arrière : le temps de retour doit être connu et testé
• Versionner ensemble le modèle, le code de préparation et le contrat de service

Séquence 4 — Superviser

• Trois familles de signaux : techniques, dérive des entrées, qualité des sorties
• Le tableau de bord qui déclenche une action, pas celui qu'on regarde une fois
• Alerter sur des seuils justifiés, et le coût d'une alerte qui crie trop souvent
• Prédictions à conserver : lesquelles, combien de temps, pour quel usage

Séquence 5 — Incidents et gouvernance

• Les scénarios à écrire avant : dérive, panne, dégradation, biais constaté
• Qui décide du retrait d'un modèle, et sur quel critère
• Rejouer un incident : les artefacts nécessaires, et ceux qui manquent toujours
• La revue périodique de modèle et sa trace écrite