Perdebatan Konteks AI: Syarikat Mencari Kebenaran Organisasi Masa Nyata, Melangkaui Kebergantungan Model Termaju

Latar Belakang Industri: Mengapa "Konteks" AI Agent Tidak Cukup?

Minggu ini, satu perdebatan penting dalam industri AI global berkisar pada "kebenaran organisasi masa nyata". Sebelumnya, penganalisis kanan Jon Reed menerbitkan artikel "Why context isn't enough — AI agents need real-time organizational truth", yang secara langsung menunjuk kepada kelemahan AI Agent yang terlalu bergantung pada konteks terhad, dan menyeru industri untuk mewujudkan mekanisme "kebenaran organisasi masa nyata" (real-time organizational truth). Pandangan ini telah mencetuskan maklum balas hebat daripada vendor, pengguna perusahaan, dan institusi penyelidikan.

Reed menunjukkan bahawa kebanyakan vendor melakukan dua kesilapan: Pertama, mereka menghadkan konteks kepada data perusahaan terhad yang mereka miliki (walaupun vendor data lakehouse kekurangan konteks masa nyata); Kedua, mereka enggan mengakui kelemahan konteks, terutamanya pada skala perusahaan. Reed berpendapat bahawa jika Agent tidak diberikan input maklumat masa nyata yang lebih komprehensif, maka tidak kira betapa kuatnya model itu, Agent akan kelihatan "kurang bijak".

Latar belakang perdebatan ini adalah bahawa AI perusahaan sedang beralih dari "fasa demonstrasi" ke "fasa penggunaan skala". Walau bagaimanapun, kos inferens yang tinggi, seni bina yang kompleks, dan nilai perniagaan yang terhad telah menyebabkan ramai CFO perusahaan mula mempersoalkan "Bilakah AI akan membawa pulangan sebenar?" Ketua Pegawai Pelanggan Salesforce, Bill Patterson, dalam satu temu bual baru-baru ini secara terus berkata: "CFO bertanya — bolehkah AI memberikan pulangan pada suatu masa nanti? Kita perlu beralih dari 'berapa banyak token yang digunakan' kepada 'sama ada perjanjian telah dicapai'."

Kesan Pasaran: Perusahaan Menilai Semula Strategi Pelaburan AI

Pandangan Reed secara langsung mencabar kebergantungan berlebihan pada model perintis (frontier models). Beliau memetik pelbagai kajian yang membuktikan bahawa melalui kejuruteraan konteks yang betul dan "kejuruteraan kawalan pintar" (harness engineering), model kecil boleh mengurangkan kos operasi LLM sehingga 90%. Malah Google dalam kertas putih terbarunya mengakui bahawa konteks/kawalan pintar yang munasabah boleh menyumbang 90% nilai sistem Agent, manakala model itu sendiri hanya menyumbang 10%.

Ini bermakna perusahaan tidak lagi perlu membeli GPU dan token tanpa had untuk mendapatkan keupayaan AI. Sebaliknya, mereka boleh membina "kawalan pintar" yang berkesan — termasuk enjin pengesahan, kemahiran pra-pakej, dan pagar keselamatan yang ketat — untuk mengawal dan meningkatkan LLM Agent, sekali gus mencapai penggunaan AI yang lebih murah dan lebih mampan.Untuk pembekal infrastruktur AI seperti NVIDIA, AMD, trend ini mungkin membawa perubahan dalam struktur permintaan: kebergantungan pada GPU di sisi inferens akan sebahagiannya beralih kepada pelaburan dalam saluran data dan sistem capaian semula masa nyata. Bagi penyedia model seperti OpenAI, Anthropic, jika syarikat dapat mengurangkan penggunaan model secara besar-besaran melalui kejuruteraan konteks, maka model perniagaan berasaskan token mereka mungkin menghadapi tekanan.

Landskap Persaingan: Siapa Mendapat Manfaat? Siapa Menanggung Tekanan?

• Pihak Mendapat Manfaat:
• Platform integrasi data dan analisis masa nyata (seperti Databricks, Snowflake, Confluent) — untuk mengatur kebenaran secara masa nyata memerlukan penggabungan data rekod sistem dengan maklumat kerjasama seperti Slack/Teams, nilai platform ini semakin menonjol.
• Alat kawalan pintar dan orkestrasi Ejen AI (seperti LangChain, CrewAI, dll.) — ia membantu syarikat mengurus konteks, alat dan kekangan Ejen, menjadi pautan utama dalam seni bina AI perusahaan.
• Pembekal AI khusus industri (seperti IFS, ServiceNow) — mereka lebih menekankan pengetahuan domain, bukan keupayaan model umum.

• Pihak Menanggung Tekanan:
• Penyedia API model AI yang semata-mata bergantung pada model penggunaan token (seperti OpenAI) — jika syarikat mengurangkan penggunaan token secara drastik melalui kejuruteraan konteks, pertumbuhan pendapatan mereka mungkin perlahan.
• Pembekal yang terlalu menekankan keupayaan penaakulan "prinsip pertama" — syarikat lebih mementingkan "sama ada hasil berjaya" daripada "sama ada model itu pintar".

• Pengikut Berpotensi:
• Amazon AI dan Google Cloud — mereka sudah menawarkan lebih banyak perkhidmatan berkaitan konteks (seperti Ejen Amazon Bedrock, Pembina Ejen Vertex AI), mungkin akan memperkukuh lagi keupayaan capaian data masa nyata.
• Salesforce telah melancarkan Ejen Wakil Pembangunan Jualan "Piper", yang memberi tumpuan kepada "sama ada petunjuk jualan ditutup", bukan penggunaan token, ini mewakili peralihan daripada "didorong model" kepada "didorong hasil".

Pengajaran Perusahaan: Daripada "AI-Utama" kepada "Seni Bina Mampan"

Bagi pembuat keputusan perusahaan, perdebatan ini memberi isyarat yang jelas: jangan terikat dengan ekonomi token pembekal.

1. Takrifkan semula metrik kejayaan AI: Jangan lagi menjadikan kadar penggunaan model atau penggunaan token sebagai standard kejayaan, sebaliknya tumpu pada hasil perniagaan — penjimatan kos, peningkatan kecekapan, kepuasan pelanggan, dsb. Rujuk amalan tiga pengguna besar (IFS dan lain-lain), cara mereka mengukur nilai gen AI telah beralih daripada "kadar penggunaan" kepada "kesan perniagaan".2. Pelaburan dalam Kejuruteraan Konteks: Perusahaan perlu membina seni bina yang dapat mendapatkan data utama secara masa nyata (seperti inventori, sentimen pelanggan, status pengeluaran) dan mengehadkan LLM kepada tugas tertentu melalui kawalan pintar. Ini lebih menjimatkan kos berbanding membeli model yang lebih mahal.

3. Meneliti Janji Pembekal: Semasa membeli perkhidmatan AI, tanya pembekal bagaimana mereka membantu mengurangkan penggunaan token, sama ada mereka menyokong penggunaan model kecil hibrid. Elakkan daripada terjerumus ke dalam "lubang tanpa dasar token".

4. Memberi Perhatian kepada Pematuhan dan Peraturan: Akta AI EU (EU AI Act) sedang meminta syarikat bertanggungjawab ke atas output AI. Mengatur kebenaran secara masa nyata membantu menyediakan asas keputusan yang boleh dikesan dan mengurangkan risiko pengawalseliaan.

Tinjauan Masa Depan: 12 bulan, 24 bulan, 3 tahun

12 bulan: Semakin banyak syarikat mula membina sistem "kawalan pintar" mereka sendiri, dengan penggunaan model kecil dalam senario menegak meningkat. OpenAI dan syarikat lain mungkin melancarkan lebih banyak model penyesuaian khusus konteks untuk menentang penurunan pendapatan token.

24 bulan: Mengatur kebenaran secara masa nyata menjadi standard dalam AI perusahaan. Platform data akan menggabungkan data kerjasama (Slack/Teams) dengan rekod sistem perniagaan untuk menyediakan konteks bersatu. Jurang keupayaan ejen AI (seperti penaakulan pelbagai langkah dan panggilan alat) akan dikurangkan melalui pengisian konteks yang lebih baik.

3 tahun: Penguasaan monopoli model terkemuka dipecahkan. Platform ejen khusus industri meningkat, dengan pelaburan infrastruktur AI beralih daripada ledakan GPU kepada keseimbangan antara saluran data dan pengambilan semula masa nyata. Peraturan AI lebih menekankan "kawalan proses", dan syarikat akan mendapat ROI yang lebih tinggi.

Seperti yang dikatakan oleh Jon Reed: "Kemajuan konteks memberitahu kita bahawa pelanggan tidak semestinya bergantung pada model terkemuka. Mereka boleh memilih laluan AI yang lebih mampan." Sekiranya syarikat dapat merebut titik perubahan ini, dekad seterusnya industri AI akan menjadi lebih pragmatik dan cekap.