Distinguer les causes d'erreur
La recherche peut ne pas trouver le bon passage, retrouver un document obsolète ou ignorer une exception. Le modèle peut ensuite déformer le passage, ajouter une conclusion non justifiée ou confondre deux versions. Une citation visible ne prouve donc pas à elle seule que la phrase est effectivement soutenue par la source.
Le corpus doit avoir des responsables, des dates et des règles d'accès. Indexer des documents sans contrôler les droits peut rendre accessibles des informations à des personnes non autorisées. La pertinence et la confidentialité sont deux dimensions distinctes de la qualité du service.
Construire une évaluation utile
Préparez des questions dont la réponse est connue, des questions ambiguës, des documents contradictoires et des demandes sans réponse dans le corpus. Vérifiez la capacité à signaler une limite plutôt qu'à inventer. Testez également les consignes malveillantes présentes dans des contenus récupérés, dans un cadre autorisé.
Prévoir un usage proportionné au risque
Pour une information importante, permettez de consulter le passage source et sa version. Définissez quand une vérification humaine est obligatoire. Un RAG peut améliorer l'accès à la connaissance, mais il ne transforme pas automatiquement un corpus imparfait en référence fiable ni un modèle probabiliste en moteur de preuve.