Les dialogues à plusieurs tours deviennent une nouvelle vulnérabilité de sécurité pour l’IA : les entreprises sous-estiment le risque réel des grands modèles

Contexte du secteur

Alors que les entreprises intègrent les grands modèles de langage dans leurs processus de service client, de bureau, de recherche, de développement et d’opérations de sécurité, l’évaluation de la sécurité de l’IA passe de la question « le modèle va-t-il refuser directement ? » à « le modèle peut-il être progressivement manipulé au fil d’interactions continues ? ». Des chercheurs de Cisco ont récemment testé plusieurs modèles grand public et de pointe, couvrant ChatGPT d’OpenAI, Claude d’Anthropic, Gemini de Google, Nova d’Amazon, Grok de xAI, etc. Leur conclusion est la suivante : aucun modèle ne peut être considéré comme totalement sûr face à une manipulation en dialogue multi-tours.

L’importance de cette découverte ne réside pas dans le fait que « le modèle commette parfois des erreurs », mais dans le fait qu’elle met en lumière les failles structurelles des cadres d’évaluation couramment utilisés par les entreprises. Aujourd’hui, de nombreux benchmarks de sécurité privilégient encore les tests par simple prompt unique, alors que les attaques réelles sont souvent progressives : l’attaquant décompose la tâche, modifie le récit, recourt au jeu de rôle, et teste sans cesse les limites du modèle à travers l’ambiguïté et la reconstruction du contexte. L’analyse de Cisco est très claire : l’évaluation multi-tours est importante parce que les attaquants réels itèrent eux aussi à plusieurs reprises.

Impact sur le marché

Pour les clients entreprises, cela signifie que les limites de risque du déploiement de l’IA sont redéfinies. Si une organisation se base uniquement sur le fait qu’un test unique a été réussi pour décider de mettre un modèle en production, elle peut surestimer sa stabilité dans les flux de travail réels. En particulier dans les systèmes de service client destinés aux utilisateurs externes, les assistants de connaissances internes, l’automatisation commerciale et les scénarios d’agent IA, le dialogue continu est le mode d’interaction par défaut. Une fois que les garde-fous se relâchent au cours de plusieurs échanges, le risque passe du « contenu non conforme » à la « dérive de privilèges, l’orientation erronée des processus, l’exposition des données et les opérations incorrectes ».

Pour les investisseurs, ce type de recherche tend généralement à faire remonter le poids des budgets de sécurité dans les achats d’IA d’entreprise. La capacité des modèles reste un argument central, mais la sécurité devient progressivement une condition préalable déterminante pour permettre des achats à grande échelle et dans la durée. Les entreprises de sécurité IA, les plateformes d’évaluation des modèles et les outils de gouvernance de la couche d’inférence capables d’offrir des capacités plus fortes de test, de surveillance, d’audit et de contrôle des politiques pourraient bénéficier d’une priorité plus élevée dans les budgets des entreprises.

Il convient de noter que l’étude indique également que la configuration du modèle influence sa vulnérabilité. Par exemple, lorsque le « mode de raisonnement » de Grok est activé, les protections de sécurité sont plus facilement contournées. Pour les entreprises, ce type de constat signifie que : le risque ne dépend pas seulement du modèle lui-même, mais aussi du mode de déploiement, des options activées et de la conception du workflow. En d’autres termes, un même modèle peut présenter des courbes de risque totalement différentes selon la configuration.

Paysage concurrentielDu point de vue de la concurrence industrielle, cet événement exerce une pression commune sur les éditeurs de modèles de base. OpenAI, Anthropic, Google, Amazon et xAI poussent tous vers une adoption plus large par les entreprises, tandis que les clients d’entreprise exigent de plus en plus non seulement des « modèles plus intelligents », mais aussi des « limites de sécurité vérifiables ». Sur ce point, la différenciation entre éditeurs de modèles se manifestera de plus en plus dans les évaluations de sécurité, les tests red team, les outils d’audit, les consoles d’entreprise et le support de conformité, et pas seulement dans les scores de benchmark.

Les bénéficiaires possibles incluent trois types d’acteurs :

1. Fournisseurs d’outils de sécurité et d’évaluation de l’IA : aider les entreprises à faire évoluer les tests à tour unique vers des évaluations multi-tours, agentiques et en chaîne de tâches. 2. Fournisseurs cloud et plateformes : s’ils peuvent intégrer nativement la surveillance de sécurité, le contrôle des accès et l’audit des journaux dans les services de modèle, ils deviendront plus facilement le choix par défaut des entreprises. 3. Fournisseurs de services de conformité et de gouvernance : lorsque les régulateurs commenceront à accorder davantage d’attention à la « surface d’attaque réelle » plutôt qu’aux benchmarks statiques, la demande des entreprises pour des capacités de gouvernance tierces augmentera.

Les acteurs sous pression seront ceux qui continuent d’appuyer leur récit de sécurité sur des benchmarks statiques. Si un fournisseur ne peut pas expliquer comment il contrôle les risques dans des scénarios de manipulation multi-tours, les équipes d’achat des entreprises pourraient le considérer comme une option « utilisable mais pas forcément maîtrisable ».

Implications pour les entreprises

Pour les décideurs d’entreprise, l’enseignement direct de cette étude est que l’évaluation de la sécurité de l’IA ne peut pas se limiter à « savoir si le modèle refuse ou non des requêtes dangereuses », mais doit évoluer vers « dans un processus métier complet, le modèle peut-il être progressivement amené à adopter des comportements non conformes aux attentes ».

Les entreprises doivent au moins prêter attention à quatre points :

• Évaluation avant achat : exiger des fournisseurs des résultats de tests dans des scénarios de conversations multi-tours, de tâches continues, d’incitation par les rôles et de reconstruction du contexte.
• Contrôle pendant le déploiement : limiter les interrupteurs de fonctionnalités à haut risque, en particulier ceux qui modifient le raisonnement du modèle et sa stratégie de sortie.
• Surveillance en temps réel : mettre en place des mécanismes de journalisation et d’alerte pour les parcours de conversation anormaux, les répétitions de tentatives, les changements de rôle et les requêtes de dépassement de droits.
• Répartition des responsabilités : clarifier les responsabilités respectives en matière de sécurité entre le fournisseur du modèle, la plateforme et l’équipe de déploiement interne de l’entreprise.

Pour les entreprises qui avancent sur les AI Agents ou les workflows automatisés, le risque sera encore amplifié, car l’agent ne se contente plus de répondre à des questions : il appelle des outils, accède à des systèmes et exécute des actions. Un seul décalage de stratégie dans une conversation multi-tours peut se transformer en conséquence opérationnelle concrète dans une chaîne d’agents.

Perspectives

Dans les 12 mois Les entreprises demanderont plus souvent aux fournisseurs de soumettre des tests de sécurité et des résultats de red team en conversations multi-tours, et la capacité persuasive des benchmarks à tour unique continuera de diminuer. Les budgets de sécurité de l’IA seront davantage orientés vers l’évaluation, la surveillance et la gouvernance des accès.### Dans les 24 prochains mois Les fournisseurs de grands modèles pourraient faire du « comportement sûr sur plusieurs tours » l’un des arguments de différenciation de leurs offres entreprise, et les capacités de sécurité seront davantage intégrées aux couches de console, d’audit et de gestion des politiques. L’écosystème d’outils tiers autour de la gouvernance de l’IA devrait s’élargir.

Dans les 3 prochaines années Les normes réglementaires et d’achat pourraient continuer à évoluer vers des tests basés sur des scénarios d’utilisation réels, plutôt que sur de simples scores statiques. Pour les entreprises, la gouvernance de l’IA passera d’une exigence gérée par projet à une capacité d’exploitation continue ; pour les fournisseurs de modèles, la sécurité et la contrôlabilité ressembleront de plus en plus à des capacités d’infrastructure, et non plus seulement à des éléments de conformité additionnels.

Conclusion

Le signal central que transmet cette étude de Cisco est le suivant : lorsqu’elles évaluent les risques des grands modèles, les entreprises font face à une question bien plus complexe que « le modèle répond-il à des questions dangereuses ? » — le modèle peut-il maintenir des limites stables au cours d’interactions continues ? À mesure que l’IA passe d’un outil de conversation à une couche d’exécution métier, cette question n’est plus un sujet périphérique pour les équipes de sécurité, mais l’une des contraintes clés de la capacité des entreprises à déployer l’IA à grande échelle de manière commerciale.