Microsoft melancarkan ASSERT: AI perusahaan memasuki peringkat “ujian tingkah laku”, penilaian model sedang beralih daripada penanda aras umum kepada pengesahan peringkat aplikasi

Konteks Industri

Seiring keupayaan model berskala besar terus meningkat, fokus perhatian industri AI sedang berubah: dahulu pasaran lebih banyak membincangkan “adakah model itu lebih bijak”, tetapi kini pelanggan perusahaan lebih mengambil berat tentang “adakah sistem itu stabil, patuh, dan beroperasi seperti yang diharapkan dalam senario perniagaan”.

Pelancaran ASSERT oleh Microsoft (Adaptive Spec-driven Scoring for Evaluation and Regression Testing) adalah hasil daripada trend ini. Menurut pengenalan Microsoft, ASSERT ialah sebuah rangka kerja sumber terbuka yang boleh menukar huraian bahasa semula jadi tahap tinggi — seperti matlamat, dasar dan tingkah laku yang dijangka — kepada tingkah laku yang boleh diterima dan tidak boleh diterima secara berstruktur, kemudian menjana senario ujian secara automatik, melaksanakan ujian dan memberi skor. Ia juga boleh merekod laluan perantaraan sistem AI dan panggilan alat, membantu pembangun mengenal pasti di mana kegagalan berlaku.

Ini bermaksud, penilaian AI sedang bergerak daripada benchmark umum kepada pengesahan pada tahap aplikasi, tahap dasar dan tahap proses.

Dalam proses pelaksanaan AI peringkat perusahaan, perubahan ini tidak mengejutkan. Hal ini kerana banyak sistem AI kini bukan lagi sekadar model yang “menjawab soalan”, tetapi ejen (agent) yang disepadukan dengan rantaian alat dalaman perusahaan, sistem kebenaran, pangkalan pengetahuan dan aliran kerja. Apabila AI dibenarkan menghantar e-mel, membuat pertanyaan kepada bahan dalaman atau mencetuskan tindakan perniagaan, apa yang perlu disahkan oleh perusahaan bukan lagi hanya ketepatan, tetapi:

• sama ada ia mengakses data tanpa kebenaran
• sama ada ia mematuhi dasar syarikat
• sama ada ia mengekalkan tingkah laku yang konsisten dalam konteks yang kompleks
• sama ada ia mengalami masalah regresi selepas kemas kini versi

Dengan kata lain, perusahaan kini membeli bukan sekadar model, tetapi sebuah “sistem AI yang boleh dikawal”.

Kesan Pasaran

Kepentingan pasaran ASSERT, pada mulanya, tercermin dalam perubahan logik perolehan perusahaan.

Bagi pelanggan perusahaan, halangan projek AI bukan hanya datang daripada kos model, tetapi juga daripada kekurangan kebolehtadbiran. Banyak perusahaan boleh menerima kesilapan model yang sekali-sekala semasa fasa pembuktian konsep, tetapi sebaik sahaja memasuki persekitaran pengeluaran, mereka perlu menjawab isu audit, pematuhan, risiko dan pembahagian tanggungjawab. Microsoft memajukan keupayaan penilaian ke tiga peringkat iaitu pembangunan, penempatan dan pemantauan berterusan; sebenarnya ini sedang mengurangkan halangan bagi perusahaan untuk memasukkan AI ke dalam proses kritikal.

Ini memberi kesan paling langsung kepada tiga jenis peserta pasaran:

1. Pembeli perusahaan

Perusahaan akan lebih menekankan “kebolehsahihan” dalam pembelian AI berbanding keupayaan model semata-mata. Pada masa depan, borang penilaian pembelian mungkin bukan sahaja bertanya: adakah model menyokong multimodal, adakah ia mempunyai prestasi penaakulan yang lebih tinggi; tetapi juga akan bertanya:

• adakah ia menyokong ujian spesifikasi tingkah laku
• adakah ia boleh melakukan ujian regresi
• adakah ia boleh mengeluarkan laluan keputusan yang boleh diaudit
• adakah ia boleh memetakan dasar dalaman perusahaanIni akan mendorong lebih banyak belanjawan AI perusahaan mengalir ke alat penilaian, pemantauan, tadbir urus dan ujian, bukan hanya ke antara muka aplikasi hadapan.

2. Pembangun dan penyepadu sistem

Bagi pasukan yang membina aplikasi AI, alat jenis ASSERT bermaksud proses pembangunan perlu lebih hampir kepada mod ujian dipacu dan integrasi berterusan dalam kejuruteraan perisian tradisional. Terutamanya dalam seni bina agent, output model bukan lagi hasil akhir; panggilan alat perantaraan dan rantaian tindakan juga boleh menjadi titik risiko. Rangka kerja yang mampu memasukkan laluan ini ke dalam sistem ujian akan lebih digemari oleh pasukan pembangunan perusahaan.

3. Pelabur

Pelabur akan lebih menumpukan perhatian kepada “infrastruktur pemproduksian AI” berbanding cerita aplikasi tunggal. Dahulu pasaran mudah menumpukan perhatian pada chatbot, pembantu pejabat atau demo senario menegak, tetapi apabila model besar memasuki sistem perusahaan, lapisan alat seperti penilaian, pemantauan, kebolehlihatan dan audit pematuhan mula mempunyai nilai komersial yang lebih jelas. Tindakan Microsoft menunjukkan bahawa lapisan infrastruktur ini bukanlah pasaran pinggiran, sebaliknya merupakan komponen penting bagi penyebaran AI perusahaan berskala besar.

Lanskap Persaingan

Pelancaran ASSERT mencerminkan bahawa persaingan industri AI telah berkembang daripada “keupayaan model” kepada “kebolehpercayaan sistem”.

Penerima manfaat

Microsoft ialah salah satu penerima manfaat langsung. Microsoft mempunyai susunan lengkap dalam perisian perusahaan, platform awan dan Responsible AI; ASSERT bukan sahaja dapat mengukuhkan kelekatan pada platform awan dan pembangunannya, malah membantu mengukuhkan kedudukan jenama “selamat, ditadbir dan terkawal” dalam perolehan AI perusahaan.

Pada masa yang sama, syarikat dalam rantaian alat penilaian model dan tadbir urus AI juga mungkin mendapat manfaat. Apabila perusahaan menuntut ujian dan pengesahan regresi secara lebih sistematik, syarikat pemula yang berputar di sekitar pemerhatian model, audit tingkah laku, kawalan risiko dan ujian automatik akan menerima lebih banyak permintaan.

Pihak yang tertekan

Pihak yang tertekan ialah produk yang hanya menyediakan “panggilan model” atau “lapisan aplikasi AI umum”. Apabila perusahaan mula menuntut sempadan tingkah laku yang lebih ketat, hanya dengan akses model dan pembungkusan antara muka sukar untuk memenuhi keperluan tahap produksi. Pembekal yang tiada keupayaan ujian, pemantauan dan tadbir urus mungkin akan kehilangan daya saing dalam perolehan perusahaan pada masa depan.

Pihak yang berkemungkinan mengikuti

Dari laluan industri, OpenAI, Anthropic, Google DeepMind, Meta AI serta lebih banyak vendor platform awan dan pembangunan akan terus memperkukuh keupayaan berkaitan penilaian dan keselamatan. Sebabnya mudah: apabila AI digunakan untuk automasi aliran kerja, akses pengetahuan dan pelaksanaan tugas, persoalan “adakah model akan bercakap sembarangan” tidak lagi mencukupi; persoalan sebenar berubah menjadi “adakah model akan melakukan kesilapan dalam sistem perusahaan dan menyebabkan akibat perniagaan”.

Implikasi PerusahaanBagi perusahaan, ASSERT menyampaikan isyarat yang sangat jelas: AI bukanlah teknologi yang selesai setelah sekali diterapkan, tetapi sistem operasi yang perlu diverifikasi secara berterusan.

Perusahaan harus memberi perhatian utama pada tiga perkara berikut:

1. Menjadikan ujian AI sebahagian daripada proses pelancaran

Jika sistem AI akan mengakses data dalaman, mencetuskan tindakan luaran atau mempengaruhi interaksi pelanggan, maka mekanisme ujian sebelum pelancaran dan regresi selepas pelancaran mesti diwujudkan. Jika tidak, kemas kini model, pelarasan prompt, dan perubahan pada rantaian alat semuanya boleh membawa risiko yang tidak kelihatan.

2. Piawaian penilaian perlu diperluaskan daripada “ketepatan” kepada “konsistensi tingkah laku”

Dalam senario perniagaan perusahaan, AI selalunya bukan bersaing pada skor bagi tugas abstrak, tetapi melaksanakan tugas di bawah dasar tertentu. Contohnya, khidmat pelanggan, automasi jualan, pembantu pengetahuan dalaman, dan ejen penyelidikan dokumen semuanya perlu mematuhi pelbagai peraturan kebenaran dan proses. Teras penilaian seharusnya ialah sama ada sistem mematuhi peraturan-peraturan ini.

3. Tadbir urus AI sedang menjadi sebahagian daripada keupayaan pembelian

Pada masa depan, apabila perusahaan memilih platform AI, mereka bukan sahaja membandingkan prestasi model, tetapi juga keupayaan tadbir urus, keupayaan audit, dan pembahagian tanggungjawab. Siapa yang dapat mengintegrasikan penilaian, pemantauan dan pematuhan dengan lebih baik ke dalam produk, dialah yang lebih berpeluang menjadi pembekal AI perusahaan pilihan.

Tinjauan

12 bulan akan datang

Pembangunan AI peringkat perusahaan akan lebih menekankan penilaian automatik dan ujian regresi, terutamanya dalam senario ejen, khidmat pelanggan, pembantu pengetahuan dan automasi pejabat. Permintaan terhadap alat yang berkaitan dengan ujian tingkah laku, pemerhatian model dan tadbir urus akan terus meningkat.

24 bulan akan datang

Persaingan antara penyedia AI akan semakin jelas beralih daripada “siapa yang mempunyai model lebih kuat” kepada “siapa yang mempunyai sistem yang lebih mudah dikawal”. Dalam proses perolehan perusahaan, pematuhan, keboleh-auditan, dan kebolehjejakkan akan secara beransur-ansur setara dengan metrik prestasi, menjadi ambang wajib.

3 tahun akan datang

Industri AI mungkin membentuk pembahagian yang lebih matang antara “lapisan model + lapisan penilaian + lapisan tadbir urus + lapisan aplikasi”. Pengaruh benchmark umum akan menurun, manakala kepentingan rangka kerja ujian peringkat aplikasi, alat pemetaan dasar perusahaan, dan platform pemantauan berterusan akan meningkat. Bagi syarikat teknologi besar, siapa yang dapat mengintegrasikan keupayaan ini ke dalam awan, platform pembangunan dan suite perisian perusahaan, merekalah yang lebih berkemungkinan menguasai kelebihan dalam fasa seterusnya pengkomersialan AI.

Kesimpulan

ASSERT bukan sekadar pelancaran alat baharu, tetapi satu isyarat industri: industri AI sedang memasuki fasa “tingkah laku yang boleh disahkan”. Bagi pelanggan perusahaan, ini bermakna AI bukan lagi sekadar keupayaan menjana kandungan, tetapi satu sistem pengeluaran yang mesti diuji secara berterusan, dipantau secara berterusan, dan ditadbir secara berterusan. Bagi Microsoft, ini juga merupakan langkah untuk mengukuhkan kedudukan platform AI perusahaannya; bagi keseluruhan industri, ini menandakan pengkomersialan AI sedang bergerak daripada “boleh digunakan” kepada “boleh digunakan secara terkawal”.