Établir un diagnostic
Un index qui ignore les droits documentaires peut révéler des informations auxquelles l’utilisateur ne devrait pas accéder.
Classer les informations en trois états : constaté, déclaré mais non confirmé, et inconnu. Cette distinction rend les prochaines vérifications plus utiles qu’une note de maturité attribuée sans preuve.
Poser des questions connues, ambiguës et sans réponse, vérifier les sources citées et l’absence d’accès à des documents interdits.
Suivre pertinence des passages, exactitude des réponses, citations correctes et cas où le système doit s’abstenir.
Application à votre contexte
Confrontez les entretiens, les documents et au moins une observation de fonctionnement. Conservez les divergences : elles sont souvent plus instructives qu'un score de maturité calculé trop tôt.
Distinguez la plausibilité d'une réponse de son exactitude. Testez les informations manquantes, les documents contradictoires, les droits d'accès et les instructions malveillantes présentes dans les données. Un lien vers une source n'établit pas automatiquement que cette source soutient la réponse.
Trois actions de départ
- Qualifier les documents et permissions
- Évaluer la recherche avant la génération
- Tester réponses, citations et refus lorsque les sources manquent