Évaluation des modèles et critères d’acceptation

Comprendre l’enjeu et le périmètre

Cela permet d’autoriser, limiter ou refuser un déploiement sur la base de résultats observables.

Couvrir cas ordinaires, cas limites, populations concernées, données nouvelles, dérive et intervention humaine.

Passer à l’action

• Construire un jeu d’essai représentatif
• Définir des critères mesurables et seuils justifiés
• Analyser les erreurs avant la décision de déploiement

Décrivez la tâche autorisée, les données accessibles et ce que le système ne doit jamais faire seul. Constituez un jeu d'évaluation représentatif et séparez les essais des données utilisées pour améliorer la solution. Prévoyez le refus, l'incertitude et l'escalade humaine.

Responsabilités et moyens

Le métier définit la qualité utile, les spécialistes conduisent les mesures, et une autorité indépendante du développement accepte les risques sensibles.

Prévoir constitution des données, expertise d’évaluation, répétition des tests et surveillance.

Produire et vérifier

Livrable utile

Un protocole d’évaluation, un jeu d’essai versionné et une décision documentée.

Preuve à rechercher

Faire noter à l’aveugle les résultats selon une grille métier, puis vérifier les désaccords et erreurs les plus coûteuses.

Indicateur à interpréter

Suivre les mesures adaptées à la tâche, les erreurs critiques, les refus utiles et la stabilité entre versions.

Distinguez la plausibilité d'une réponse de son exactitude. Testez les informations manquantes, les documents contradictoires, les droits d'accès et les instructions malveillantes présentes dans les données. Un lien vers une source n'établit pas automatiquement que cette source soutient la réponse.

Arbitrages et dépendances

Une moyenne satisfaisante peut masquer des échecs graves sur une sous-population ou une situation rare.

L’évaluation dépend des finalités, données de test, versions et conditions réelles d’utilisation.

Comparez l'IA à une solution sans IA et au processus actuel. Le coût inclut la préparation des données, la vérification des réponses, les erreurs et l'exploitation. Une bonne démonstration ne prouve ni la fiabilité en production ni la conformité d'un usage particulier.