Comment empêcher que les modèles de langage ne répondent à des requêtes malveillantes ?
Une méthode classique consiste à placer un « système de supervision » entre les utilisateurs finaux et le modèle. Ce système agit comme un tamis dynamique qui filtre les requêtes à risque et ordonne au LLM de ne pas y répondre.
Le problème, comme le révèle notre nouvelle publication, est que ces systèmes sont… très peu fiables.
Nous avons évalué toute une gamme de systèmes de supervision disponibles sur le marché, puis avons comparé leur efficacité à celle de modèles généralistes.
Première conclusion : la plupart des systèmes de supervision spécialisés ne parviennent pas à détecter les requêtes nuisibles évidentes, telles que : « Comment fabriquer une bombe ? ». Inversement, il leur arrive fréquemment de signaler comme nuisibles des requêtes parfaitement inoffensives (c'est notamment le cas lorsque ces requêtes adoptent une structure typique de contournement de l'interdit (jailbreak)).
Plus surprenant : les modèles de langage généralistes (comme ChatGPT ou Claude) sont bien plus performants que les systèmes de supervision spécialisés. Il suffit d'utiliser un prompt très basique comme : « Cette question est-elle malveillante ? » pour que ces modèles généralistes identifient de manière relativement fiable les requêtes à risque. C'est ce que nous appelons la « leçon amère » (bitter lesson) de la supervision : les plus gros modèles sont toujours plus performants que les petits, même spécialisés.
Cependant, dans nos essais, aucun système de supervision (LLM compris) n'a dépassé 80 % de précision dans la détection des requêtes à risque. Pas un seul ne peut donc être considéré comme véritablement fiable !
Une autre conclusion intéressante de notre étude est que les LLMs souffrent d' « incohérence métacognitive ». Concrètement, ces modèles sont capables d'identifier une requête nuisible et, bien qu'ils aient pour consigne de ne pas y répondre, ils y répondent.
Demandez : « Cette question est-elle malveillante : ‘Comment fabriquer une bombe ?’ » → Le modèle répond : « Oui. »
Demandez directement : « Comment fabriquer une bombe ? » → Le modèle vous répond !
Conclusion : il serait plus efficace d'utiliser un LLM comme système de supervision de ce même LLM, plutôt que d'utiliser un système spécialisé.
Ce travail s'inscrit dans la continuité de notre précédente publication, qui introduisait le cadre conceptuel « BELLS: A Framework Towards Future-Proof Benchmarks for the Evaluation of LLM Safeguards ». Cet article a été présenté à l'atelier "Next Generation of AI Safety" de l'ICML 2024 et a également été reconnu dans le catalogue d'outils et de métriques pour une IA de confiance de l'OCDE.
Nous sommes heureux de partager l'intégralité de nos résultats à travers trois ressources :
