أصبحت المحادثات متعددة الجولات ثغرة جديدة في أمان الذكاء الاصطناعي: الشركات تقلل من تقدير المخاطر الحقيقية للنماذج الكبيرة

سياق الصناعة

مع قيام الشركات بدمج النماذج الكبيرة في خدمة العملاء، والأعمال المكتبية، والاسترجاع، والتطوير، وعمليات الأمن، يتحول تقييم أمان الذكاء الاصطناعي من سؤال: «هل سيرفض النموذج الطلب مباشرة؟» إلى سؤال: «هل يمكن التحكم بالنموذج تدريجيًا عبر تفاعلات متواصلة؟». وقد اختبر باحثون في Cisco مؤخرًا عدة نماذج رئيسية ومتقدمة، شملت ChatGPT من OpenAI، وClaude من Anthropic، وGemini من Google، وNova من Amazon، وGrok من xAI، وكانت الخلاصة: لا يوجد أي نموذج يمكن اعتباره آمنًا تمامًا أمام التحكم عبر محادثات متعددة الجولات.

تكمن أهمية هذا الاكتشاف ليس في «ما إذا كان النموذج سيخطئ أحيانًا»، بل في أنه يكشف عن خلل هيكلي في أطر التقييم التي تعتمدها الشركات عادةً. فما تزال كثير من المعايير الأمنية الحالية تميل إلى اختبار الأوامر في جولة واحدة، بينما تكون الهجمات الواقعية غالبًا تدريجية: إذ يقوم المهاجم بتفكيك المهمة، وتغيير السرد، والاستفادة من لعب الأدوار، ويمضي في اختبار حدود النموذج عبر الغموض وإعادة بناء السياق. وموقف Cisco واضح: تكمن أهمية التقييم متعدد الجولات في أن المهاجمين الحقيقيين يقومون أصلًا بالتكرار والتحسين بشكل متواصل.

تأثير السوق

بالنسبة لعملاء الشركات، يعني ذلك إعادة تعريف حدود المخاطر في نشر الذكاء الاصطناعي. فإذا اعتمدت المؤسسة فقط على نجاح اختبار واحد لتقرر الإطلاق، فقد تبالغ في تقدير استقرار النموذج ضمن سير العمل الفعلي. ويظهر هذا بشكل خاص في أنظمة خدمة العملاء الموجهة للزبائن الخارجيين، ومساعدي المعرفة الداخلية، وأتمتة المبيعات، وسيناريوهات وكلاء الذكاء الاصطناعي؛ حيث إن الحوار المتواصل هو أصلًا نمط التفاعل الافتراضي، وأي تراخٍ في الضوابط الأمنية خلال عدة جولات قد يوسّع المخاطر من «محتوى غير متوافق» إلى «تجاوز الصلاحيات، والتضليل في العمليات، وتسرب البيانات، والتنفيذ الخاطئ».

أما بالنسبة للمستثمرين، فعادةً ما تعيد هذه الأبحاث رفع الوزن النسبي لميزانيات الأمن ضمن مشتريات الذكاء الاصطناعي المؤسسي. فما تزال قدرة النموذج هي نقطة البيع الأساسية، لكن الأمان يتحول من مؤشر مساعد إلى شرط مسبق يحدد ما إذا كانت المشتريات واسعة النطاق يمكن أن تستمر. وقد تحصل شركات أمن الذكاء الاصطناعي، ومنصات تقييم النماذج، وأدوات الحوكمة في طبقة الاستدلال، القادرة على تقديم اختبارات ومراقبة وتدقيق وضبط سياسات أقوى، على أولوية أعلى ضمن ميزانيات الشركات.

ومن الجدير بالذكر أن البحث أشار أيضًا إلى أن إعدادات النموذج تؤثر في درجة الهشاشة. فعلى سبيل المثال، بعد تفعيل «وضع الاستدلال» في Grok، يصبح تجاوز آليات الحماية الأمنية أسهل. وأهمية هذه النتيجة بالنسبة للشركات تكمن في أن: المخاطر لا تعتمد على النموذج نفسه فقط، بل أيضًا على طريقة النشر، ومفاتيح التفعيل، وتصميم سير العمل. وبعبارة أخرى، قد يرتبط النموذج نفسه بمنحنى مخاطر مختلف تمامًا بحسب الإعدادات المستخدمة.

المشهد التنافسيمن منظور المنافسة الصناعية، تُشكّل هذه الحادثة ضغطًا مشتركًا على مزوّدي النماذج الأساسية. فـ OpenAI وAnthropic وGoogle وAmazon وxAI جميعها تدفع باتجاه تبنّي أوسع من قبل المؤسسات، بينما يزداد طلب العملاء المؤسسيين ليس فقط على «نماذج أذكى»، بل أيضًا على «حدود أمان قابلة للتحقق». وفي هذه النقطة، ستتجسّد الفروق بين مزوّدي النماذج بدرجة متزايدة في تقييمات الأمان، واختبارات الفريق الأحمر، وأدوات التدقيق، ووحدات تحكم المؤسسات، ودعم الامتثال، وليس فقط في درجات المعايير القياسية.

وقد يشمل المستفيدون ثلاثة أنواع من الأطراف:

1. مزوّدو أدوات أمان وتقييم الذكاء الاصطناعي: يساعدون المؤسسات على توسيع الاختبار من التقييم أحادي الجولة إلى التقييم متعدد الجولات، والوكيلّي، وسلاسل المهام. 2. مزودو الخدمات السحابية ومنصات التشغيل: إذا تمكنوا من دمج مراقبة الأمان، والتحكم في الصلاحيات، وتدقيق السجلات بصورة أصلية داخل خدمات النماذج، فسيكون من الأسهل أن يصبحوا الخيار الافتراضي للمؤسسات. 3. مزوّدو خدمات الامتثال والحوكمة: عندما تبدأ الجهات التنظيمية بالتركيز أكثر على «سطح الهجوم الفعلي» بدلًا من الـ benchmark الثابت، ستزداد حاجة المؤسسات إلى قدرات الحوكمة من أطراف ثالثة.

أما الأطراف الواقعة تحت الضغط فهي تلك التي ما تزال تبني سردية الأمان على المعايير الثابتة. فإذا لم يتمكن المزوّدون من توضيح كيفية ضبط المخاطر في ظل التلاعب متعدد الجولات، فقد تنظر إليهم فرق الشراء المؤسسية على أنهم خيار «قابل للاستخدام، لكنه ليس بالضرورة قابلًا للسيطرة».

الآثار على المؤسسات

بالنسبة لصانعي القرار في المؤسسات، فإن الدلالة المباشرة لهذه الدراسة هي أن تقييم أمان الذكاء الاصطناعي لا ينبغي أن يتوقف عند سؤال «هل سيرفض النموذج الطلبات الخطرة؟»، بل يجب أن ينتقل إلى سؤال «هل يمكن دفع النموذج، ضمن سير العمل التجاري الكامل، تدريجيًا إلى إظهار سلوك لا يتوافق مع المتوقع؟».

على المؤسسات أن تتابع على الأقل أربعة أمور:

• التقييم قبل الشراء: مطالبة المورّدين بتقديم نتائج اختبارات في سيناريوهات الحوار متعدد الجولات، والمهام المتواصلة، والإيحاء بالأدوار، وإعادة بناء السياق.
• التحكم أثناء النشر: تقييد مفاتيح الوظائف عالية المخاطر، ولا سيما الإعدادات التي تغيّر استدلال النموذج واستراتيجية الإخراج.
• المراقبة أثناء التشغيل: إنشاء آليات للسجلات والتنبيهات لمسارات المحادثة الشاذة، وإعادة المحاولة المتكررة، وتبديل الأدوار، وطلبات تجاوز الصلاحيات.
• تحديد المسؤوليات: توضيح المسؤوليات الأمنية لكل من مزوّد النموذج، والمنصّة، وفريق النشر الداخلي في المؤسسة.

وبالنسبة للمؤسسات التي تمضي قدمًا في وكلاء الذكاء الاصطناعي أو تدفقات العمل المؤتمتة، فإن المخاطر ستتضخم أكثر، لأن الوكيل لم يعد يكتفي بالإجابة عن الأسئلة، بل سيستدعي الأدوات، ويصل إلى الأنظمة، وينفّذ الأفعال. وإن انحرافًا واحدًا في الاستراتيجية داخل حوار متعدد الجولات قد يتحول، ضمن سلسلة الوكيل، إلى عواقب فعلية على الأعمال.

التوقعات

خلال 12 شهرًا ستطلب المؤسسات بوتيرة أكبر من المورّدين تقديم اختبارات أمان للحوار متعدد الجولات ونتائج الفريق الأحمر، وستواصل المعايير أحادية الجولة فقدان قدرتها الإقناعية. كما ستتجه ميزانيات أمان الذكاء الاصطناعي بدرجة أكبر نحو التقييم، والمراقبة، وحوكمة الصلاحيات.### خلال 24 شهرًا قد يطرح مزوّدو النماذج الكبيرة «السلامة متعددة الجولات» كأحد عوامل التميّز في منتجات النسخة المؤسسية، وستندمج قدرات الأمان بشكل أعمق في طبقات لوحة التحكم والتدقيق وإدارة السياسات. ومن المتوقع أن يتوسع نظام الأدوات التابعة لجهات خارجية المحيط بحوكمة الذكاء الاصطناعي.

خلال 3 سنوات قد تتجه معايير التنظيم والشراء بشكل أكبر نحو اختبارات سيناريوهات الاستخدام الواقعية بدلًا من الاكتفاء بالدرجات الثابتة. وبالنسبة إلى الشركات، ستتحول حوكمة الذكاء الاصطناعي من مطلب قائم على المشاريع إلى قدرة تشغيلية مستمرة؛ أما بالنسبة إلى مزوّدي النماذج، فستصبح السلامة وقابلية التحكم أشبه بقدرات البنية التحتية، لا مجرد عناصر إضافية للامتثال.

الخلاصة

الرسالة الأساسية التي تنقلها هذه الدراسة من Cisco هي: عندما تقيم الشركات مخاطر النماذج الكبيرة، فهي تواجه سؤالًا أكثر تعقيدًا من مجرد «هل يستطيع النموذج الإجابة عن الأسئلة الخطرة؟» — هل يستطيع النموذج الحفاظ على حدود مستقرة أثناء التفاعل المتواصل؟ ومع انتقال الذكاء الاصطناعي من أداة دردشة إلى طبقة تنفيذ الأعمال، لم يعد هذا السؤال قضية هامشية تخص فرق الأمن، بل أحد القيود الأساسية التي تحدد ما إذا كان بإمكان الأعمال التجارية للذكاء الاصطناعي أن تتوسع وتُطبَّق على نطاق واسع.