Dialog berbilang pusingan menjadi kelemahan baharu keselamatan AI: perusahaan sedang meremehkan risiko sebenar model besar

Konteks Industri

Seiring perusahaan menyematkan model besar ke dalam aliran kerja khidmat pelanggan, pejabat, carian, pembangunan dan operasi keselamatan, penilaian keselamatan AI sedang beralih daripada “sama ada model akan menolak secara langsung” kepada “sama ada model boleh dikawal secara beransur-ansur dalam interaksi berterusan”. Penyelidik Cisco baru-baru ini menguji beberapa model arus perdana dan termaju, merangkumi ChatGPT daripada OpenAI, Claude daripada Anthropic, Gemini daripada Google, Nova daripada Amazon, Grok daripada xAI, dan lain-lain; kesimpulannya ialah: tiada satu pun model yang boleh dianggap benar-benar selamat apabila berdepan manipulasi perbualan berbilang pusingan.

Kepentingan dapatan ini bukan pada “sama ada model akan tersilap sekali-sekala”, tetapi pada hakikat bahawa ia mendedahkan kelemahan struktur kerangka penilaian yang biasa digunakan oleh perusahaan. Pada masa ini, banyak penanda aras keselamatan masih cenderung kepada ujian prompt satu pusingan, tetapi serangan sebenar sering bersifat berperingkat: penyerang akan memecahkan tugasan, menukar naratif, menggunakan main peranan, dan terus menguji had model melalui kekaburan serta pembinaan semula konteks. Penilaian Cisco sangat jelas: penilaian berbilang pusingan penting kerana penyerang sebenar sememangnya akan mengulangi percubaan secara iteratif.

Impak Pasaran

Bagi pelanggan perusahaan, ini bermakna sempadan risiko penerapan AI ditakrif semula. Jika organisasi hanya bergantung pada keputusan lulus ujian sekali untuk menentukan sama ada sesuatu sistem harus dilancarkan, mereka mungkin melebihkan kestabilan model dalam aliran kerja perniagaan sebenar. Khususnya dalam sistem khidmat pelanggan yang berhadapan dengan pelanggan luar, pembantu pengetahuan dalaman, automasi jualan, dan senario AI Agent, perbualan berterusan itu sendiri ialah mod interaksi lalai. Apabila pagar keselamatan mula longgar dalam proses berbilang pusingan, risikonya akan berkembang daripada “kandungan tidak patuh” kepada “pelanggaran kebenaran, salah hala proses, pendedahan data dan tindakan salah”.

Bagi pelabur, penyelidikan seperti ini lazimnya akan menaikkan semula kepentingan belanjawan keselamatan dalam perolehan AI perusahaan. Keupayaan model masih merupakan tarikan utama, tetapi keselamatan sedang beralih daripada metrik sokongan kepada syarat awal yang menentukan sama ada pembelian berskala besar boleh diteruskan. Syarikat keselamatan AI, platform penilaian model dan alat tadbir urus lapisan inferens yang dapat menyediakan keupayaan ujian, pemantauan, audit dan kawalan dasar yang lebih kuat mungkin akan diberi keutamaan lebih tinggi dalam belanjawan perusahaan.

Perlu diberi perhatian bahawa penyelidikan itu juga menunjukkan konfigurasi model boleh mempengaruhi tahap kerentanan. Contohnya, apabila “reasoning mode” Grok diaktifkan, perlindungan keselamatan lebih mudah dipintas. Dapatan sebegini memberi makna kepada perusahaan: risiko bukan hanya bergantung pada model itu sendiri, tetapi juga pada kaedah penerapan, suis fungsi dan reka bentuk aliran kerja. Dengan kata lain, model yang sama, dalam konfigurasi berbeza, boleh mempunyai lengkung risiko yang sangat berbeza.

Landskap PersainganDari sudut persaingan industri, peristiwa ini memberi tekanan bersama kepada pembuat model asas. OpenAI, Anthropic, Google, Amazon dan xAI semuanya sedang memacu penggunaan perusahaan yang lebih meluas, manakala pelanggan perusahaan semakin menuntut bukan sahaja “model yang lebih bijak”, tetapi juga “sempadan keselamatan yang boleh disahkan”. Pada titik ini, pembezaan antara pembuat model akan semakin banyak tercermin dalam penilaian keselamatan, ujian red team, alat audit, konsol perusahaan dan sokongan pematuhan, bukan semata-mata skor benchmark.

Pihak yang mungkin mendapat manfaat termasuk tiga kategori peserta:

1. Pembekal alat keselamatan dan penilaian AI: membantu perusahaan memperluas ujian satu pusingan kepada penilaian berbilang pusingan, berasaskan agen dan rantaian tugas. 2. Pembuat awan dan platform: jika mereka dapat mengintegrasikan pemantauan keselamatan, kawalan kebenaran dan audit log secara asli ke dalam perkhidmatan model, mereka akan lebih mudah menjadi pilihan lalai perusahaan. 3. Pembekal perkhidmatan pematuhan dan tadbir urus: apabila pengawal selia mula memberi lebih perhatian kepada “permukaan serangan sebenar” dan bukannya benchmark statik, permintaan perusahaan terhadap keupayaan tadbir urus pihak ketiga akan meningkat.

Yang akan berada di bawah tekanan ialah pembekal model yang masih membina naratif keselamatan berasaskan benchmark statik. Jika pembuat model tidak dapat menjelaskan cara mengawal risiko di bawah manipulasi berbilang pusingan, pasukan perolehan perusahaan mungkin akan menganggapnya sebagai pilihan yang “boleh digunakan tetapi belum tentu boleh dikawal”.

Implikasi untuk Perusahaan

Bagi pembuat keputusan perusahaan, implikasi langsung kajian ini ialah: penilaian keselamatan AI tidak boleh berhenti pada “sama ada model akan menolak permintaan berbahaya”, sebaliknya perlu beralih kepada “dalam aliran kerja perniagaan yang lengkap, adakah model akan secara beransur-ansur dipujuk untuk memaparkan tingkah laku yang tidak selaras dengan jangkaan”.

Sekurang-kurangnya, perusahaan perlu memberi perhatian kepada empat perkara:

• Penilaian sebelum pembelian: minta pembekal menyediakan keputusan ujian bagi senario perbualan berbilang pusingan, tugasan berterusan, dorongan peranan dan pembinaan semula konteks.
• Kawalan semasa penggunaan: hadkan suis fungsi berisiko tinggi, terutama konfigurasi yang mengubah strategi penaakulan dan output model.
• Pemantauan masa nyata: bina mekanisme log dan amaran untuk laluan perbualan luar biasa, percubaan semula berulang, pertukaran peranan dan permintaan melebihi kuasa.
• Pembahagian tanggungjawab: jelaskan tanggungjawab keselamatan masing-masing antara pembekal model, pihak platform dan pasukan penyebaran dalaman perusahaan.

Bagi perusahaan yang sedang memajukan AI Agent atau aliran kerja automasi, risikonya akan menjadi lebih besar lagi, kerana agen bukan lagi sekadar menjawab soalan, tetapi akan memanggil alat, mengakses sistem dan melaksanakan tindakan. Satu penyimpangan strategi dalam perbualan berbilang pusingan mungkin berkembang menjadi kesan perniagaan sebenar dalam rantaian agen.

Prospek

Dalam 12 bulan Perusahaan akan lebih kerap meminta pembekal menyerahkan ujian keselamatan perbualan berbilang pusingan dan keputusan red team, manakala daya pujuk benchmark satu pusingan akan terus menurun. Belanjawan keselamatan AI akan lebih banyak disalurkan kepada penilaian, pemantauan dan tadbir urus kebenaran.### Dalam 24 bulan Pembekal model besar mungkin menjadikan “keselamatan pelbagai pusingan” sebagai salah satu titik pembezaan bagi produk versi perusahaan, dan keupayaan keselamatan akan diintegrasikan dengan lebih mendalam ke dalam konsol, audit, dan lapisan pengurusan dasar. Ekosistem alat pihak ketiga yang berfokus pada tadbir urus AI dijangka berkembang.

Dalam 3 tahun Standard pengawalseliaan dan perolehan mungkin akan terus beralih kepada ujian dalam senario penggunaan sebenar, bukannya hanya melihat skor statik. Bagi perusahaan, tadbir urus AI akan berubah daripada keperluan berasaskan projek kepada keupayaan operasi berterusan; bagi pembekal model pula, keselamatan dan kebolehkawalan akan semakin menyerupai keupayaan infrastruktur, bukan sekadar tambahan pematuhan.

Kesimpulan

Isyarat utama yang disampaikan oleh kajian Cisco ini ialah: apabila perusahaan menilai risiko model besar, mereka sedang berdepan dengan soalan yang lebih kompleks daripada “adakah model menjawab soalan berbahaya” — iaitu, adakah model dapat mengekalkan sempadan yang stabil dalam interaksi berterusan. Apabila AI bergerak daripada alat sembang kepada lapisan pelaksanaan perniagaan, isu ini bukan lagi topik sampingan bagi pasukan keselamatan, tetapi salah satu kekangan teras yang menentukan sama ada pengkomersialan AI perusahaan dapat dilaksanakan secara berskala.