Comprendre l’enjeu et le périmètre
Il aide à retrouver et synthétiser des informations internes lorsque les documents sont accessibles, à jour et correctement segmentés.
Couvrir corpus, droits, indexation, découpage, recherche, génération, citations et actualisation.
Passer à l’action
- Qualifier les documents et permissions
- Évaluer la recherche avant la génération
- Tester réponses, citations et refus lorsque les sources manquent
Décrivez la tâche autorisée, les données accessibles et ce que le système ne doit jamais faire seul. Constituez un jeu d'évaluation représentatif et séparez les essais des données utilisées pour améliorer la solution. Prévoyez le refus, l'incertitude et l'escalade humaine.
Responsabilités et moyens
Les métiers qualifient le corpus, les équipes données maintiennent l’index, la sécurité contrôle l’accès, et le responsable de service valide.
Inclure préparation, indexation, calcul, stockage, évaluations et mises à jour.
Produire et vérifier
- Livrable utile
- Un corpus gouverné, un jeu d’évaluation et une chaîne de traçabilité des réponses.
- Preuve à rechercher
- Poser des questions connues, ambiguës et sans réponse, vérifier les sources citées et l’absence d’accès à des documents interdits.
- Indicateur à interpréter
- Suivre pertinence des passages, exactitude des réponses, citations correctes et cas où le système doit s’abstenir.
Distinguez la plausibilité d'une réponse de son exactitude. Testez les informations manquantes, les documents contradictoires, les droits d'accès et les instructions malveillantes présentes dans les données. Un lien vers une source n'établit pas automatiquement que cette source soutient la réponse.
Arbitrages et dépendances
Un index qui ignore les droits documentaires peut révéler des informations auxquelles l’utilisateur ne devrait pas accéder.
Le RAG dépend de la GED, des métadonnées, des droits et de la fraîcheur des sources.
Comparez l'IA à une solution sans IA et au processus actuel. Le coût inclut la préparation des données, la vérification des réponses, les erreurs et l'exploitation. Une bonne démonstration ne prouve ni la fiabilité en production ni la conformité d'un usage particulier.
POUR APPROFONDIR
Les 27 questions du dossier
Les essentiels
Comprendre
Diagnostiquer
Mettre en œuvre
Décider
- RAG et recherche documentaire augmentée : qui doit contribuer, décider et valider ?
- RAG et recherche documentaire augmentée : sur quels critères prendre une décision ou accepter une exception ?
- RAG et recherche documentaire augmentée : quels coûts faut-il prévoir au-delà de l’outil ?
- RAG et recherche documentaire augmentée : comment prioriser lorsque les moyens sont limités ?
Vérifier
Piloter
Maîtriser
- RAG et recherche documentaire augmentée : comment protéger les informations et les accès associés ?
- RAG et recherche documentaire augmentée : comment éviter qu’un incident rende le dispositif inutilisable ?
- RAG et recherche documentaire augmentée : que faut-il demander et vérifier auprès d’un prestataire ?
- RAG et recherche documentaire augmentée : comment changer d’outil ou de prestataire sans perdre la connaissance ?