Menggunakan AI Agent ke Produksi: Pengujian, Pelancaran, dan Rollback

Q: Berapa lama agent patut berada dalam shadow mode sebelum beroperasi sepenuhnya?

Cukup lama untuk menyemak keputusannya terhadap volum kes sebenar yang bermakna, bukan bilangan hari yang tetap. Bagi tugas berjumlah tinggi dan berisiko rendah, mungkin seminggu. Bagi tugas dengan akibat kewangan atau pelanggan yang sebenar, seperti meluluskan pembayaran atau mengendalikan bayaran balik, wajar kekal dalam shadow mode atau pelancaran dikawal manusia sehingga keputusan agent secara konsisten sepadan dengan apa yang akan dilakukan oleh penyemak manusia.

Q: Apakah perbezaan antara menguji agent dengan memantaunya dalam produksi?

Pengujian berlaku sebelum pelancaran terhadap set kes yang tetap dan diketahui, dan ia boleh diulang: jalankan set ujian yang sama selepas setiap perubahan dan semak regresi. Pemantauan berlaku secara berterusan selepas pelancaran terhadap trafik sebenar yang tidak dapat diramal, menangkap kes yang tiada siapa terfikir untuk menulis ujian bagi. Kedua-duanya perlu, dan tinjauan LangChain 2025 mendapati jurang sebenar antara keduanya: kebanyakan pasukan mempunyai sedikit pemantauan, jauh lebih sedikit yang menjalankan penilaian tetap di atasnya.

Q: Apakah yang patut mencetuskan rollback?

Putuskan ini sebelum pelancaran, bukan semasa insiden. Pencetus lazim termasuk penurunan bermakna dalam kadar kejayaan tugas, lonjakan kekerapan manusia mengatasi atau membetulkan keputusan agent, dan kenaikan mendadak eskalasi atau aduan pelanggan yang berkaitan dengan agent. Apa pun angka khususnya, mekanisme rollback itu sendiri, kembali ke konfigurasi yang diketahui baik atau mengalihkan trafik semula kepada pengendalian manusia, mesti pantas dan sudah diuji, bukan direka secara spontan.

Q: Adakah agent yang dibina dengan no-code dan dengan kod digunakan ke produksi secara berbeza?

Peringkatnya sama tanpa mengira cara agent dibina: uji pada kes sebenar, lancarkan secara beransur-ansur, pantau, dan sediakan laluan rollback. Yang berbeza ialah seberapa banyak perkakasan yang anda dapat secara lalai. [Platform no-code](/ms/libraries/ai-agents/no-code-vs-code-ai-agents) sering menyediakan pengelogan dan sejarah larian terbina dalam; [agent yang dibina dengan kod](/ms/libraries/ai-agents/build-an-ai-agent-with-crewai) biasanya memerlukan anda memasang sendiri perkakasan tracing dan penilaian, dengan lebih banyak kawalan ke atas apa yang tepat dirakam.

Q: Mengapa begitu banyak projek AI agent dibatalkan selepas pilot?

Gartner mengaitkan kebanyakan pembatalan dengan kos yang meningkat, nilai perniagaan yang tidak jelas, dan kawalan risiko yang tidak mencukupi dan bukan model asas yang gagal berfungsi. Dalam praktiknya, itu biasanya bermakna pilot membuktikan agent boleh berfungsi dalam demo tetapi tidak pernah melalui kerja pengujian, pelancaran, dan pemantauan berperingkat yang mengubah demo yang berfungsi menjadi sesuatu yang benar-benar boleh diharapkan dan diukur oleh perniagaan.

Deployment AI agent yang ditunjukkan sebagai kebuk udara terkawal dengan pengujian, trafik langsung, pemantauan, dan pintu pulang

Menggunakan AI agent ke produksi ialah proses berperingkat, bukan satu detik "hidupkan sahaja": uji ia terhadap kes sejarah sebenar, lancarkan secara beransur-ansur di sebalik pintu seperti shadow mode dan kelulusan manusia, pantau segelintir metrik yang benar-benar meramalkan kegagalan, dan sediakan laluan rollback yang pantas sebelum anda memerlukannya. Langkau satu peringkat dan agent yang berfungsi sempurna dalam demo menjadi agent yang tiada siapa percayai tiga minggu selepas trafik sebenar. Panduan ini merangkumi keempat-empat peringkat, tanpa mengira platform atau framework yang anda gunakan untuk membina agent.

Mengapa "Ia Berfungsi dalam Demo" Tidak Mencukupi

Jurang antara prototaip yang berfungsi dengan sistem produksi yang bertahan menghadapi input sebenar yang berselerak dan bersifat adversarial ialah tempat kebanyakan projek agent sebenarnya mati. Inisiatif NANDA MIT mendapati pada 2025 bahawa 95% pilot generative AI enterprise gagal menyampaikan pulangan kewangan yang boleh diukur, walaupun dianggarkan $30 hingga $40 bilion telah dilaburkan oleh enterprise. Rumusan laporan itu sendiri penting di sini: kegagalan itu bukan kerana kualiti model asas, tetapi kerana pilot tidak pernah mendapat disiplin operasi yang diperlukan untuk menjadi sesuatu yang boleh benar-benar diharapkan oleh perniagaan.

Gartner meletakkan angka bagi versi khusus agent masalah yang sama, meramalkan bahawa lebih 40% projek agentic AI akan dibatalkan menjelang akhir 2027, dengan menyebut kos yang meningkat, nilai perniagaan yang tidak jelas, dan kawalan risiko yang tidak mencukupi, bukan teknologi yang gagal, sebagai punca utama. Ketiga-tiganya ialah masalah deployment, bukan masalah model, dan itulah yang cuba diatasi oleh panduan ini.

Jika anda belum membina agent itu, cara membina AI agent merangkumi enam blok binaan yang mendahului semua ini, dan membina AI agent dengan CrewAI serta AI agent no-code berbanding kod merangkumi pembinaan itu sendiri. Panduan ini bermula apabila anda sudah mempunyai versi yang berfungsi dalam pengujian dan sedang memutuskan cara meletakkannya di hadapan volum sebenar dengan selamat.

Peringkat 1: Uji Terhadap Kes Sebenar, Bukan yang Direka

Sebelum apa-apa dihantar, jalankan agent terhadap set ujian yang dibina daripada kes sejarah sebenar, bukan kes hipotesis yang anda bayangkan semasa membina. Cara menilai dan menguji AI agent membincangkan ini sepenuhnya: membina set ujian, menentukan maksud kejayaan untuk tugas khusus ini, dan menggredkan hasil dengan peraturan, semakan manusia, atau LLM-as-judge. Anggap amalan penilaian itu sebagai prasyarat kepada semua yang berikut, bukan langkah yang boleh dipendekkan sebaik sahaja demo kelihatan baik.

Peringkat 2: Lancarkan Secara Beransur-ansur

Tiada sesiapa patut menukar agent daripada sifar kepada 100% volum dalam satu langkah. Pelancaran berperingkat menangkap masalah semasa radius kesannya masih kecil.

Pelancaran AI agent berperingkat yang ditunjukkan sebagai empat ruang trafik yang semakin melebar daripada shadow mode sehingga volum penuh

Peringkat	Apa yang berlaku	Apa yang ditangkapnya
Shadow mode	Agent berjalan pada input langsung tetapi outputnya tidak dilaksanakan; manusia atau proses lama masih mengendalikan semuanya	Sama ada keputusannya sepadan dengan apa yang sebenarnya berlaku, tanpa sebarang risiko kepada pelanggan
Trafik terhad, dikawal manusia	Agent bertindak pada peratusan kecil volum, dengan manusia meluluskan sebelum apa-apa dihantar	Kes pinggiran dunia sebenar, dengan jaringan keselamatan masih ada
Trafik penuh, dikawal mengikut risiko	Agent bertindak secara automatik pada kes berisiko rendah dan masih menyerahkan apa-apa yang berisiko tinggi	Sama ada logik keputusan (bertindak, bertanya, atau menyerahkan) ditala dengan betul
Pelancaran penuh	Agent berjalan pada volum penuh dengan hanya guardrail dan pemantauan di tempatnya	Drift yang berterusan dan kes pinggiran yang hanya muncul pada skala sebenar

Tempat anda menetapkan pintu patut mengikut kos kesilapan. Agent seperti AI CRM Hygiene Agent, yang membetulkan rekod pendua, selamat dilalukan melalui peringkat ini dengan pantas. Agent seperti AI Collections and AR Agent, yang mengejar pelanggan untuk wang yang terhutang, atau AI Invoice and AP Agent, yang meluluskan pembayaran, wajar tinggal lebih lama dalam peringkat dikawal manusia, kerana kos tindakan autonomi yang salah ialah wang sebenar dan hubungan pelanggan yang sebenar, bukan sekadar kesulitan. Manusia dalam gelung untuk AI agent menerangkan dengan tepat cara mereka bentuk pintu kelulusan itu supaya ia menangkap risiko sebenar tanpa bertukar menjadi cop getah semata-mata.

Peringkat 3: Pantau Apa yang Benar-Benar Meramalkan Kegagalan

Sebaik sahaja agent beroperasi, memerhatinya ialah disiplin yang berbeza daripada mengujinya. Observability AI agent merangkumi stack tracing dan metrik sepenuhnya secara mendalam; versi ringkasnya ialah anda perlu melihat alat apa yang dipanggilnya, dengan hasil apa, pada setiap langkah, bukan sekadar sama ada output akhir kelihatan munasabah.

Pemantauan deployment AI agent yang ditunjukkan sebagai instrumen dwi-saluran untuk jejak alat dan penilaian hasil

Terdapat jurang sebenar antara berapa ramai pasukan yang memantau agent dengan berapa ramai yang menilainya dengan betul secara berterusan. Tinjauan LangChain 2025 terhadap pembina agent mendapati bahawa 89% organisasi telah melaksanakan sejenis observability, tetapi hanya 52.4% menjalankan penilaian offline dan 37.3% menjalankan penilaian online secara tetap. Memerhati agent dan menggredkan apa yang dilakukannya secara tegas bukan amalan yang sama, dan yang kedua itulah yang benar-benar menangkap drift kualiti sebelum pelanggan mendapatinya. Tinjauan yang sama mendapati kualiti output ialah halangan deployment tunggal terbesar, disebut oleh 33% responden, mendahului keselamatan pada 24.9% dan latensi pada 20%, semakan realiti yang berguna terhadap naluri untuk melabur berlebihan dalam infrastruktur sebelum keputusan sebenar agent boleh dipercayai.

Di sinilah MLOps dan pemantauan model menjadi relevan secara langsung: deployment agent mewarisi disiplin produksi yang sama yang terpakai kepada mana-mana model langsung, ditambah kerumitan gelung berbilang langkah yang memanggil alat dan bukan satu ramalan.

Peringkat 4: Sediakan Laluan Rollback Sebelum Anda Memerlukannya

Tentukan pencetus rollback anda sebelum pelancaran, bukan semasa anda berada di tengah-tengah insiden. Pilih dua atau tiga angka yang akan memberitahu anda ada sesuatu yang tidak kena, penurunan kadar kejayaan tugas, lonjakan kadar penggantian oleh manusia, kenaikan mendadak eskalasi, dan putuskan lebih awal apa yang berlaku apabila salah satunya melepasi ambang: adakah trafik kembali ke versi agent sebelumnya, jatuh kembali kepada pengendalian manusia sepenuhnya, atau dijeda sepenuhnya sehingga seseorang menyemaknya.

Pelan rollback AI agent yang ditunjukkan sebagai tuil trafik boleh balik yang memulangkan kerja kepada konfigurasi agent yang diketahui baik

Secara praktikal, itu bermakna mengunci versi prompt, alat, dan konfigurasi agent seperti anda menversikan kod aplikasi, supaya "rollback" bermakna bertukar kepada konfigurasi yang diketahui baik dan bukan cuba mengingati apa yang berubah. Feature flag atau mekanisme pembahagian trafik yang ringkas yang boleh mengalihkan volum daripada agent serta-merta patut dibina sebelum pelancaran, bukan selepas insiden buruk pertama membuktikan keperluannya. Tergesa-gesa dalam peringkat ini ialah jenis jalan pintas yang kemudian muncul sebagai hutang teknikal AI: kos melangkau perancangan rollback tidak hilang, ia hanya berpindah ke hilir dan menjadi lebih mahal.

Guardrail, yang dibincangkan dalam guardrail AI agent, dan had mutlak yang dibincangkan dalam keselamatan AI agent, melakukan kerja berterusan menangkap tindakan individu yang buruk. Rollback ialah tuil lain yang lebih kasar apabila keseluruhan deployment perlu dihentikan, bukan sekadar satu panggilan.

Senarai Semak Pelancaran Sebelum Anda Menghidupkan Suis

Set ujian yang dibina daripada kes sejarah sebenar, dengan metrik kejayaan tugas yang ditakrifkan
Tempoh shadow mode atau trafik terhad telah selesai, dengan hasil disemak oleh manusia
Pintu kelulusan manusia ditetapkan pada sebarang tindakan yang berkaitan kewangan, tidak boleh dipulihkan, atau berhadapan pelanggan pada skala besar
Tracing dan pengelogan disediakan untuk setiap panggilan alat, bukan sekadar output akhir
Pencetus rollback yang ditakrifkan dan cara pantas yang telah diuji untuk melaksanakannya
Seorang pemilik yang bertanggungjawab memerhati agent selepas pelancaran, bukan sekadar membinanya

Siapa yang Meluluskan Pelancaran

Agent produksi yang membuat keputusan sebenar memerlukan pemilik selain orang yang membinanya, seseorang yang bertanggungjawab ke atas pelan pelancaran, pemantauan, dan keputusan bila hendak melakukan rollback. Itu soal tadbir urus sama seperti soal teknikal, dan wajar diputuskan secara jelas dan bukan secara lalai. Pengurusan perubahan AI merangkumi sisi penerimaan perkara ini, iaitu membuat manusia yang bekerja bersama agent benar-benar mempercayai dan menggunakannya dengan betul, dan tadbir urus mengikut corak merangkumi cara keperluan tadbir urus berubah bergantung pada corak AI asas yang menjadi dasar pembinaan agent.

Fakta Utama

Inisiatif NANDA MIT mendapati 95% pilot generative AI enterprise gagal menyampaikan ROI yang boleh diukur pada 2025, jurang yang dikaitkan oleh laporan itu dengan ketiadaan disiplin operasi, bukan kualiti model.
Gartner meramalkan lebih 40% projek agentic AI akan dibatalkan menjelang akhir 2027, didorong oleh kos yang meningkat, nilai perniagaan yang tidak jelas, dan kawalan risiko yang tidak mencukupi, kesemuanya masalah deployment dan bukan masalah model.
Pelancaran berperingkat (shadow mode, trafik terhad dan dikawal manusia, trafik penuh dikawal risiko, pelancaran penuh) menangkap masalah semasa radius kesannya masih kecil.
Tinjauan LangChain 2025 mendapati 89% organisasi mempunyai sejenis observability, tetapi hanya 52.4% menjalankan penilaian offline dan 37.3% menjalankan penilaian online secara tetap, jurang sebenar antara memerhati agent dengan menggredkannya secara tegas.
Tentukan pencetus dan mekanisme rollback sebelum pelancaran. Kunci versi konfigurasi agent supaya kembali ke keadaan lama bermakna bertukar kepada keadaan yang diketahui baik, bukan membina semula apa yang berubah semasa insiden.

Ke Mana Seterusnya

Agent produksi bukan projek yang selesai, ia sistem yang memerlukan perhatian berterusan yang sama seperti mana-mana infrastruktur langsung lain. Observability AI agent membincangkan dengan lebih mendalam apa yang perlu dijejak dan diukur sebaik sahaja anda beroperasi, dan guardrail AI agent merangkumi had mutlak yang patut kekal tanpa mengira betapa teliti pelancaran anda. Jika anda membandingkan platform yang mempunyai perkakasan produksi terbina dalam dengan yang perlu anda instrumenkan sendiri, rumusan alat dev dan IT dan panduan pembelian platform DevOps ialah persinggahan seterusnya yang berguna.

Pelan Tindakan AI Agent