Comprendre l’enjeu et le périmètre
La démarche permet de reproduire une version, détecter une dégradation et revenir à un fonctionnement maîtrisé.
Couvrir données, entraînement ou configuration, évaluations, artefacts, déploiement, surveillance et retrait.
Passer à l’action
- Versionner les composants qui influencent le résultat
- Automatiser les contrôles de livraison
- Surveiller le service et préparer le retour à une version sûre
Décrivez la tâche autorisée, les données accessibles et ce que le système ne doit jamais faire seul. Constituez un jeu d'évaluation représentatif et séparez les essais des données utilisées pour améliorer la solution. Prévoyez le refus, l'incertitude et l'escalade humaine.
Responsabilités et moyens
L’équipe produit exploite le service, les responsables des données et modèles qualifient les changements, et le métier valide la qualité.
Inclure stockage des artefacts, calcul, surveillance, évaluations récurrentes et astreinte selon criticité.
Produire et vérifier
- Livrable utile
- Un registre de versions, une chaîne de déploiement et des procédures d’incident et de retrait.
- Preuve à rechercher
- Reproduire un résultat d’essai à partir des références conservées et vérifier la capacité de retour contrôlé.
- Indicateur à interpréter
- Suivre dégradation de qualité, incidents, latence, versions non identifiées et délai de rétablissement.
Distinguez la plausibilité d'une réponse de son exactitude. Testez les informations manquantes, les documents contradictoires, les droits d'accès et les instructions malveillantes présentes dans les données. Un lien vers une source n'établit pas automatiquement que cette source soutient la réponse.
Arbitrages et dépendances
Une mise à jour de modèle fournie à distance peut modifier le comportement sans changement du code applicatif.
MLOps dépend des fournisseurs, jeux de test, pipelines, référentiels et observabilité.
Comparez l'IA à une solution sans IA et au processus actuel. Le coût inclut la préparation des données, la vérification des réponses, les erreurs et l'exploitation. Une bonne démonstration ne prouve ni la fiabilité en production ni la conformité d'un usage particulier.
POUR APPROFONDIR
Les 26 questions du dossier
Comprendre
Diagnostiquer
Mettre en œuvre
Décider
- MLOps et exploitation des systèmes d’IA : qui doit contribuer, décider et valider ?
- MLOps et exploitation des systèmes d’IA : sur quels critères prendre une décision ou accepter une exception ?
- MLOps et exploitation des systèmes d’IA : quels coûts faut-il prévoir au-delà de l’outil ?
- MLOps et exploitation des systèmes d’IA : comment prioriser lorsque les moyens sont limités ?
Vérifier
Piloter
Maîtriser
- MLOps et exploitation des systèmes d’IA : comment protéger les informations et les accès associés ?
- MLOps et exploitation des systèmes d’IA : comment éviter qu’un incident rende le dispositif inutilisable ?
- MLOps et exploitation des systèmes d’IA : que faut-il demander et vérifier auprès d’un prestataire ?
- MLOps et exploitation des systèmes d’IA : comment changer d’outil ou de prestataire sans perdre la connaissance ?