Partir de l’action, pas du modèle
Les discussions sur les garde-fous commencent souvent par le comportement du modèle : hallucinations, contournements, biais. Ces sujets comptent, mais un point de départ plus utile est la liste des actions qu’un agent peut effectuer. Un modèle qui écrit une erreur dans un brouillon est une gêne. Un modèle qui envoie le mauvais paiement est un incident.
Classer chaque action en trois niveaux
Avant d’écrire la moindre ligne de code, nous classons chaque action possible d’un agent dans l’un de trois niveaux.
- Autonome : consultations en lecture seule et petites modifications réversibles, comme l’étiquetage d’un ticket
- Validation requise : tout ce qui touche le client, l’argent ou qui est difficile à annuler
- Jamais automatisé : engagements juridiques, décisions RH et tout ce qui sort du rôle de l’agent
Inscrire les niveaux dans la configuration
Les niveaux ont leur place dans la configuration, pas dans le prompt. L’agent doit être techniquement incapable d’appeler une action hors de son niveau sans passer par l’étape de validation, quelle que soit la décision du modèle.
Mieux vaut une liste d’autorisations qu’une liste d’interdictions
Il est tentant d’écrire la liste de ce que l’agent ne doit pas faire. Cette liste n’est jamais complète. Donnez plutôt à l’agent une liste explicite d’outils et de paramètres autorisés, et considérez tout le reste comme bloqué par défaut.
Rendre les validations rapides
Les étapes de validation échouent quand elles sont lentes. Si un valideur doit ouvrir trois systèmes pour vérifier une proposition, il finira par valider sans regarder. Affichez l’action proposée, les éléments qui la justifient et l’effet attendu sur un seul écran.
Revoir les niveaux chaque mois
À mesure que les données d’évaluation s’accumulent, certaines actions soumises à validation se révèlent assez fiables pour s’exécuter seules. D’autres révèlent des problèmes que personne n’avait anticipés. Une courte revue mensuelle garde les garde-fous alignés sur ce que fait réellement l’agent.
