Las conversaciones de múltiples turnos se convierten en una nueva vulnerabilidad de seguridad de la IA: las empresas están subestimando el riesgo real de los modelos grandes

Contexto de la industria

A medida que las empresas integran modelos de gran tamaño en flujos de trabajo de atención al cliente, oficina, búsqueda, desarrollo y operaciones de seguridad, la evaluación de la seguridad de la IA está pasando de “si el modelo rechazará directamente” a “si el modelo puede ser manipulado gradualmente en una interacción continua”. Investigadores de Cisco probaron recientemente varios modelos líderes y de vanguardia, incluyendo ChatGPT de OpenAI, Claude de Anthropic, Gemini de Google, Nova de Amazon y Grok de xAI, entre otros. La conclusión fue: ningún modelo puede considerarse completamente seguro frente a la manipulación en conversaciones de múltiples turnos.

La importancia de este hallazgo no reside en “si el modelo cometerá errores ocasionales”, sino en que revela fallos estructurales en los marcos de evaluación que suelen usar las empresas. Muchos de los benchmarks de seguridad actuales todavía se inclinan por pruebas de prompts de un solo turno, pero los ataques reales suelen ser graduales: el atacante descompone la tarea, cambia la narrativa, recurre al role-play y prueba continuamente los límites del modelo mediante ambigüedad y reconstrucción del contexto. El criterio de Cisco es muy claro: la evaluación multironda es importante porque los atacantes reales ya iteran de esa manera.

Impacto en el mercado

Para los clientes empresariales, esto significa que los límites de riesgo del despliegue de IA se redefinen. Si una organización decide poner en producción basándose solo en el resultado de una prueba puntual, puede sobrestimar la estabilidad del modelo en los procesos reales de negocio. Especialmente en sistemas de atención al cliente orientados al exterior, asistentes de conocimiento internos, automatización de ventas y escenarios de AI Agent, la conversación continua es el modo de interacción predeterminado. Si los guardarraíles de seguridad se aflojan en el transcurso de múltiples turnos, el riesgo se ampliará de “contenido no conforme” a “exceso de privilegios, desvío de procesos, exposición de datos y operaciones erróneas”.

Para los inversores, este tipo de investigación suele volver a elevar el peso del presupuesto de seguridad en las compras de IA empresarial. La capacidad del modelo sigue siendo el principal atractivo, pero la seguridad está pasando de ser un indicador auxiliar a una condición previa para que las compras a gran escala puedan sostenerse. Las empresas de seguridad de IA, las plataformas de evaluación de modelos y las herramientas de gobernanza de la capa de inferencia que puedan ofrecer mayores capacidades de prueba, monitoreo, auditoría y control de políticas podrían recibir una prioridad más alta dentro de los presupuestos empresariales.

Cabe destacar que la investigación también señaló que la configuración del modelo influye en su vulnerabilidad. Por ejemplo, en Grok, al activar el “modo reasoning”, las protecciones de seguridad pueden eludirse con mayor facilidad. La relevancia de este hallazgo para las empresas es que: el riesgo no depende solo del modelo en sí, sino también del modo de despliegue, de los interruptores de funciones y del diseño del flujo de trabajo. En otras palabras, el mismo modelo puede corresponder a curvas de riesgo completamente distintas según la configuración.

Panorama competitivoDesde la perspectiva de la competencia industrial, este evento ejerce una presión conjunta sobre los proveedores de modelos fundacionales. OpenAI, Anthropic, Google, Amazon y xAI están impulsando una adopción empresarial más amplia, mientras que los clientes corporativos exigen cada vez no solo “modelos más inteligentes”, sino también “límites de seguridad verificables”. En este punto, la diferenciación entre proveedores de modelos se reflejará cada vez más en evaluaciones de seguridad, pruebas de red team, herramientas de auditoría, consolas empresariales y soporte de cumplimiento, y no solo en las puntuaciones de referencia.

Los beneficiarios potenciales pueden incluir tres tipos de participantes:

1. Proveedores de herramientas de seguridad y evaluación de IA: ayudan a las empresas a विस्तारiar las pruebas de una sola interacción a evaluaciones multi-turno, agentivas y en cadena de tareas. 2. Proveedores de nube y plataformas: si pueden integrar de forma nativa la supervisión de seguridad, el control de permisos y la auditoría de registros en los servicios de modelo, será más probable que se conviertan en la opción predeterminada de las empresas. 3. Proveedores de servicios de cumplimiento y gobernanza: cuando los reguladores empiecen a prestar más atención a la “superficie de ataque real” en lugar del benchmark estático, aumentará la demanda empresarial de capacidades de gobernanza de terceros.

Los que estarán bajo presión son aquellos proveedores de modelos que todavía basan su narrativa de seguridad en benchmarks estáticos. Si un proveedor no puede explicar cómo controla los riesgos bajo manipulación multi-turno, los equipos de compras empresariales podrían considerarlo una opción “usable, pero no necesariamente controlable”.

Implicaciones para la empresa

Para los responsables de la toma de decisiones empresariales, la implicación directa de esta investigación es: la evaluación de la seguridad de IA no puede limitarse a “si el modelo rechazará o no una solicitud peligrosa”, sino que debe pasar a “si, dentro de un flujo de trabajo empresarial completo, el modelo puede ser inducido gradualmente a comportamientos que no se ajusten a lo esperado”.

Las empresas deben prestar atención al menos a cuatro aspectos:

• Evaluación previa a la compra: exigir a los proveedores resultados de pruebas en escenarios de diálogo multi-turno, tareas continuas, inducción de roles y reconstrucción de contexto.
• Control durante la implementación: limitar los interruptores de funciones de alto riesgo, especialmente aquellas configuraciones que cambian la inferencia y la estrategia de salida del modelo.
• Monitoreo en tiempo de ejecución: establecer mecanismos de registro y alerta para rutas de conversación anómalas, reintentos repetidos, cambios de rol y solicitudes de acceso no autorizado.
• Asignación de responsabilidades: definir con claridad las responsabilidades de seguridad del proveedor del modelo, la plataforma y el equipo interno de implementación de la empresa.

Para las empresas que están avanzando hacia AI Agent o flujos de trabajo automatizados, el riesgo se amplificará aún más, porque el Agent ya no solo responde preguntas, sino que invoca herramientas, accede a sistemas y ejecuta acciones. Un único desvío de estrategia en una conversación multi-turno puede transformarse en consecuencias comerciales reales a lo largo de la cadena de agentes.

Perspectivas

En los próximos 12 meses Las empresas pedirán con más frecuencia a los proveedores que presenten pruebas de seguridad y resultados de red team en diálogos multi-turno; la capacidad de persuasión de los benchmarks de una sola interacción seguirá disminuyendo. El presupuesto de seguridad de IA se destinará cada vez más a evaluación, monitoreo y gobernanza de permisos.### En 24 meses Los proveedores de modelos de gran tamaño probablemente convertirán la “seguridad en múltiples turnos” en uno de los diferenciadores de sus productos para empresas, y las capacidades de seguridad estarán más profundamente integradas en la consola, la auditoría y la capa de gestión de políticas. Es probable que el ecosistema de herramientas de terceros en torno a la gobernanza de IA se amplíe.

En 3 años Es posible que los estándares regulatorios y de compra se orienten aún más hacia pruebas en escenarios de uso reales, en lugar de basarse únicamente en puntuaciones estáticas. Para las empresas, la gobernanza de IA pasará de ser un requisito de proyecto a una capacidad operativa continua; para los proveedores de modelos, la seguridad y la controlabilidad se parecerán cada vez más a capacidades de infraestructura, y no solo a complementos de cumplimiento.

Conclusión

La señal central que transmite este estudio de Cisco es: al evaluar los riesgos de los modelos de gran tamaño, las empresas se enfrentan a una cuestión más compleja que “si el modelo responde a preguntas peligrosas”——si el modelo puede mantener límites estables en interacciones continuas. A medida que la IA pasa de ser una herramienta de chat a una capa de ejecución empresarial, esta cuestión deja de ser un tema marginal para los equipos de seguridad y se convierte en una de las restricciones centrales para que la comercialización de la IA empresarial pueda desplegarse a escala.