Le piège à éviter
Un prompt demandant d’être prudent n’est pas une frontière de sécurité. Les services appelés doivent appliquer leurs propres autorisations.
Pour éviter cette erreur, demander une démonstration plutôt qu’une simple affirmation : dans un environnement isolé, vérifier qu’un agent ne peut exécuter une action non autorisée même s’il la propose.
Dans un environnement isolé, vérifier qu’un agent ne peut exécuter une action non autorisée même s’il la propose.
Application à votre contexte
Cherchez un signal permettant de détecter cette erreur avant qu'elle ne produise un dommage. La prévention gagne à être intégrée dans un processus normal de travail plutôt que dans un rappel ponctuel sans suivi.
Distinguez la plausibilité d'une réponse de son exactitude. Testez les informations manquantes, les documents contradictoires, les droits d'accès et les instructions malveillantes présentes dans les données. Un lien vers une source n'établit pas automatiquement que cette source soutient la réponse.