Mengurus Ejen AI sebagai Sebahagian daripada Pasukan: Manual Operasi

Oleh Victor Hoang · Dikemas kini 22 September 2026

Mengurus ejen AI sebagai sebahagian daripada pasukan bermaksud menganggapnya sebagai sumber kapasiti dengan skop yang ditakrifkan, standard kualiti yang boleh diukur, serah tugas yang jelas kepada manusia, rekod prestasi yang dipantau, dan baris kos, iaitu disiplin yang sama yang digunakan pengurus pada mana-mana sumber yang menghasilkan kerja atas nama pasukan. Frontier firm dan ketua ejen membincangkan peralihan budaya; ini ialah mekanik di bawahnya.

Kebanyakan pasukan terus melompat ke "beri ejen satu tugas" dan mengetahui dengan cara yang sukar bahawa tiada siapa yang menentukan rupa siap, siapa yang dimaklumkan apabila ia salah, atau apa yang berlaku pada minggu model secara senyap mula menaakul secara berbeza. Ini manual untuk melakukannya mengikut urutan.

Fakta Utama

• Apabila pengurus sendiri secara aktif mencontohkan penggunaan AI, pekerja melaporkan peningkatan 17 mata dalam nilai AI yang dirasakan, peningkatan 22 mata dalam pemikiran kritis tentang penggunaan AI mereka, dan peningkatan 30 mata dalam kepercayaan terhadap AI agentik, dalam kajian diketuai Microsoft terhadap 1,800 pekerja. Sumber: Microsoft, 2026 Work Trend Index
• Apabila pengurus mewujudkan keselamatan psikologi untuk percubaan, pekerja melaporkan kesediaan AI sehingga 20 mata lebih tinggi, dan 1.4 kali lebih berkemungkinan menjadi pengguna kerap AI agentik. Faktor organisasi menyumbang 67% kesan AI, kira-kira dua kali ganda tingkah laku individu. Sumber: Microsoft, 2026 Work Trend Index
• Ejen aktif dalam Microsoft 365 berkembang 15x tahun ke tahun, meningkat kepada 18x dalam perusahaan besar. Sumber: Microsoft, 2026 Work Trend Index
• Kos interaksi ejen yang kompleks dan diorkestrakan meningkat daripada kira-kira $0.04 pada 2023 kepada kira-kira $1.20 pada 2026, hampir 30x peningkatan, didorong kebanyakannya oleh panggilan alat dan percubaan semula dan bukan harga model mentah. Sumber: EY, "Agentic AI Enterprise Token Cost"
• Gartner meramalkan lebih 40% projek AI agentik akan dibatalkan menjelang akhir 2027 kerana kos yang meningkat, nilai perniagaan yang tidak jelas, atau kawalan risiko yang tidak mencukupi. Sumber: EY, "Agentic AI Enterprise Token Cost"
• Drift agentik, kemerosotan beransur-ansur tingkah laku ejen, lazimnya dicetuskan oleh kemas kini model, perubahan pada data yang digunakannya, atau perubahan konteks perniagaan, bukan oleh satu kegagalan dramatik. Sumber: IBM, "The Hidden Risk That Degrades AI Agent Performance"

Mulakan dengan Menentukan Skop Apa yang Sebenarnya Dimiliki Ejen

Kegagalan paling biasa dalam pengurusan ejen ialah melangkau langkah ini. Pasukan memberi ejen mandat yang luas, "kendalikan e-mel orientasi pelanggan," kemudian mendapati beberapa minggu kemudian bahawa tiada siapa bersetuju tentang maksud "kendalikan," jadi ejen menyediakan draf balasan kepada pertikaian pengebilan yang tidak pernah dimaksudkan untuk disentuhnya.

Tulis skop seperti keterangan kerja

Senarai ciri menerangkan apa yang boleh dilakukan ejen secara teknikal. Skop menerangkan apa yang menjadi tanggungjawabnya: langkah aliran kerja yang dimilikinya dari awal hingga akhir, input yang diambil tindakan, dan output yang menjadi tanggungjawabnya. Jika anda tidak dapat menulis keterangan kerja satu perenggan untuknya seperti untuk pekerja baharu, skop itu belum cukup ketat untuk diserahkan.

Lukis sempadan kuasa

Setiap skop memerlukan senarai pendamping tentang apa yang tidak boleh diputuskan ejen seorang diri: menukar harga, menutup tiket tanpa kod penyelesaian, menghantar mesej melebihi saiz atau khalayak tertentu. Itulah sempadan praktikal di mana automasi patut menggantikan satu langkah berbanding sekadar membantu, ditulis seperti pekerja baharu diberi had perbelanjaan sebelum menerima kad syarikat. Pagar pengadang menjadikan sempadan itu boleh dikuatkuasakan dalam kod, bukan dasar yang tiada siapa baca semula.

Saizkan skop kepada sesuatu yang boleh disemak

Terlalu luas, dan tiada manusia boleh menyemak sepuluh keputusan penilaian berbeza sekali gus dengan bermakna. Terlalu sempit, dan ia mensia-siakan kapasiti ejen sambil menimbus pengurus dalam serah tugas. Saiz yang betul membolehkan seorang melihat sepuluh output dan dengan yakin mengatakan sama ada ejen melakukan kerjanya dengan baik.

Tetapkan Standard Kualiti dan Kriteria Penerimaan Sebelum Hari Pertama

"Cukup baik" tidak boleh menjadi penilaian yang dibuat selepas kejadian, atau setiap semakan bertukar menjadi perbahasan tentang sasaran yang bergerak. Standard itu mesti wujud, secara bertulis, sebelum ejen menghasilkan output sebenar pertamanya.

Jadikan "betul" boleh disemak

Kriteria penerimaan mesti cukup spesifik supaya orang kedua, atau larian ejen kedua, boleh menyemak kerja berdasarkan piawaian yang sama tanpa bertanya apa yang anda maksudkan. "Kedengaran profesional" bukan kriteria. "Sepadan dengan templat yang diluluskan, termasuk nombor akaun, dan menandakan sebarang permintaan melebihi $500" ialah kriteria. Peralihan daripada pelaksana kepada orkestrator terpakai terus di sini: menulis arahan kerja yang boleh disemak kini kemahiran pengurusan teras.

Pinjam daripada QA, bukan daripada gerak rasa

Anggap output ejen seperti pasukan QA menganggap calon keluaran: tentukan set kecil kes ujian yang merangkumi pelbagai situasi yang akan dihadapinya, termasuk beberapa yang sengaja sukar, dan jalankan versi baharu terhadap set itu sebelum dikeluarkan lebih meluas. Penyelidikan IBM tentang drift agentik berhujah supaya bertanya sama ada output betul berbanding niat, bukan sama ada ia sepadan dengan rujukan perkataan demi perkataan, kerana dua larian boleh dirumuskan secara berbeza dan kedua-duanya betul.

Tetapkan ambang keyakinan, bukan sekadar lulus atau gagal

Sesetengah output jelas betul atau salah. Banyak yang tidak. Bina standard sekitar ambang keyakinan: di bawahnya, output disalurkan untuk semakan secara automatik; di atasnya, ia dihantar. Ambang itu turut menjadi tulang belakang reka bentuk peningkatan isu di bawah.

Reka Bentuk Serah Tugas antara Ejen dan Manusia dengan Sengaja

Serah tugas yang tidak direka dengan sengaja akan direka secara tidak sengaja, biasanya sebagai mesej Slack apa sahaja yang dihantar seseorang kali pertama sesuatu menjadi salah. Itu tabiat, bukan proses, dan tabiat tidak berskala melepasi orang yang memulakannya.

Namakan titik serah tugas sebelum ejen berjalan

Tiga detik berulang dalam hampir setiap aliran kerja yang dimiliki ejen: sebelum ia bermula, di tengah tugas jika ia mencapai ambang keyakinan atau sempadan skopnya, dan selepas ia selesai, apabila seseorang menyemak, meluluskan atau membetulkan output. Setiap satu memerlukan pemilik, saluran dan jangkaan masa tindak balas, sama seperti mana-mana serah tugas antara dua peranan manusia.

Gunakan matriks tanggungjawab untuk menetapkan pemilikan

Jadual di bawah ialah templat permulaan. Salin, isikan nama dan alat pasukan anda, dan semak semula apabila skop ejen berubah.

Jadikan bahagian manusia murah

Serah tugas yang mengambil masa lima belas minit untuk dibuka dan ditindak oleh penyemak akan dilangkau di bawah tekanan tarikh akhir, walau betapa baik reka bentuknya di atas kertas. Bina ia ke dalam alat yang sudah digunakan penyemak, bersama skor keyakinan ejen, perkara khusus yang tidak dipastikannya, dan lulus atau tolak sekali klik. Jika menyemak peningkatan isu lebih sukar daripada melakukan semula tugas secara manual, orang secara senyap berhenti mempercayai ejen, soalan kepercayaan yang sama yang sering dihadapi pasukan manusia-ejen.

Bina Laluan Peningkatan Isu yang Akan Benar-Benar Digunakan

Laluan peningkatan isu gagal dalam salah satu daripada dua arah: terlalu sensitif, sehingga manusia dipanggil berterusan dan mula mengabaikan amaran, atau terlalu longgar, sehingga ejen mencari jalan mengelak masalah dan bukan menimbulkannya, dan tiada siapa mengetahuinya sehingga output sudah salah dalam pengeluaran.

Peringkatkan peningkatan isu mengikut keyakinan dan kebolehbalikan

Struktur berperingkat sesuai dengan kebanyakan aliran kerja pasukan: autonomi penuh untuk tindakan berisiko rendah yang boleh dipulihkan seperti bacaan; diselia, dengan tempoh veto singkat, untuk penulisan berisiko sederhana seperti menghantar mesej; dan berpagar, memerlukan kelulusan aktif, untuk tindakan yang tidak boleh dipulihkan seperti pemadaman, pembayaran, atau apa sahaja yang menyentuh kontrak pelanggan. Tetapkan ambang bagi setiap peringkat berdasarkan betapa mahalnya kesilapan dalam aliran kerja anda, bukan angka yang disalin daripada catatan blog orang lain.

Beri ejen pilihan "saya tidak tahu" yang sebenar

Ejen yang sentiasa kedengaran yakin, walaupun tidak sepatutnya, lebih berbahaya daripada yang tersekat, kerana tugas yang tersekat disedari manakala yang salah selalunya tidak. Bina "tingkatkan kepada manusia" ke dalam set output sahihnya, dan anggap peningkatan isu yang jujur sebagai kejayaan. Pasukan yang secara senyap menghukum kadar peningkatan isu sebagai kadar ralat melatih ejen mereka, dan orang mereka, supaya berhenti mengangkat tangan.

Salurkan kepada orang tertentu, bukan baris gilir

Baris gilir kongsi tanpa pemilik ialah tempat peningkatan isu pergi untuk mati. Setiap peringkat patut dipetakan kepada peranan yang dinamakan dengan masa tindak balas yang ditentukan, seperti cara giliran bertugas berfungsi untuk gangguan pengeluaran. Reka bentuk human-in-the-loop hanya bertahan jika ada manusia tertentu yang boleh dihubungi dalam gelung itu.

Pantau dan Perhatikan Ejen seperti Sistem, Bukan Alat

Alat anda semak apabila sesuatu kelihatan salah. Sistem anda perhatikan secara berterusan, kerana apabila sesuatu kelihatan salah di mata, biasanya ia sudah salah untuk seketika.

Jejaki tingkah laku, bukan sekadar masa aktif

Pemantauan masa aktif tradisional memberitahu anda ejen sedang berjalan. Ia tidak memberitahu anda ia betul. Kebolehmerhatian ejen perlu merangkumi kesihatan sistem (ketersediaan, latensi, kadar ralat) dan kesihatan tingkah laku (kadar kejayaan tugas, kadar peningkatan isu, drift berbanding garis asas yang diketahui baik). Ejen yang bertindak balas serta-merta dan yakin sambil secara senyap menjadi semakin salah dari semasa ke semasa lulus setiap semakan masa aktif dan gagal setiap pengguna yang bergantung padanya, risiko bias automasi yang sama yang dibincangkan dalam memastikan pertimbangan manusia tetap tajam.

Catat cukup banyak untuk membina semula apa yang berlaku

Apabila output salah, soalan yang penting bukan sekadar "adakah ia salah," tetapi "mengapa," dan itu memerlukan jejak: input, panggilan alat dan parameter, dan penaakulan di sebalik output. Tanpanya, setiap semakan insiden menjadi tekaan, dan kegagalan yang sama berulang secara senyap.

Sediakan papan pemuka yang benar-benar dibuka seseorang

Papan pemuka yang tiada sesiapa lihat ialah perhiasan, bukan pemantauan. Pilih sebilangan kecil metrik yang dipetakan kepada tanggungjawab dalam jadual di atas, kos setiap tugas, kadar kejayaan, kadar peningkatan isu, masa-ke-penyelesaian, dan letakkannya di tempat orang yang bertanggungjawab menyemaknya pada kadar tetap, bukan sekadar apabila sesuatu rosak.

Versikan Ejen dan Kawal Perubahan seperti Sistem Pengeluaran

Punca terbesar kegagalan mengejut dalam pengurusan ejen bukan kerosakan dramatik. Ia anjakan tingkah laku senyap yang tiada siapa tandakan sebagai perubahan, kerana dari luar ia tidak kelihatan seperti satu.

Anggap setiap perubahan sebagai penempatan

Suntingan prompt, versi model yang ditukar, alat yang dikemas kini, atau sumber data baharu boleh mengubah tingkah laku dengan cara yang sukar diramal daripada perbezaan sahaja. Penyelidikan IBM tentang drift agentik menamakan corak ini dengan tepat: ejen melangkau langkah yang dahulu dilakukannya dengan boleh dipercayai kerana kemas kini model hulu mengubah cara ia menimbang kelajuan berbanding ketelitian. Catat setiap perubahan dengan cap masa dan penerangan, supaya anjakan dapat dikesan kepada punca dan bukan disiasat dari awal.

Jalankan set regresi sebelum, bukan selepas

Simpan set tetap tugas wakil, termasuk yang rumit, dan jalankannya terhadap setiap versi sebelum melancarkan perubahan secara meluas. Itu logik yang sama seperti suite regresi dalam perisian: murah untuk dijalankan berulang kali, dan ia menangkap kegagalan sebelum pelanggan.

Bekukan laluan pemulihan

Ketahui, lebih awal, cara anda akan kembali kepada versi baik terakhir yang diketahui jika perubahan berjalan buruk: versi model yang dipinkan, prompt yang disimpan, bendera ciri. Memutuskannya semasa insiden aktif memakan masa yang anda tidak ada. Menempatkan ejen ke pengeluaran dengan selamat bermaksud pelan pemulihan wujud sebelum penempatan pertama, bukan selepas yang pertama yang buruk.

Rancang Kapasiti seperti Anda Merancang untuk Pasukan yang Berkembang

Kapasiti ejen tidak tanpa had atau percuma untuk dikembangkan mengikut permintaan. Ia dihadkan oleh had kadar API, lebar jalur semakan, belanjawan, dan jumlah kerja yang benar-benar dapat diselia oleh manusia di sekelilingnya.

Ramal berdasarkan lebar jalur semakan, bukan sekadar throughput

Ejen mungkin memproses sepuluh kali ganda jumlah tugas semasa secara teknikal. Yang penting ialah sama ada penyemak anda boleh mengendalikan sepuluh kali ganda peningkatan isu dan semakan rawak yang datang bersamanya. Perancangan kapasiti untuk aliran kerja yang dimiliki ejen sebenarnya perancangan kapasiti untuk manusia yang menyelianya.

Ramal semula apabila skop atau model berubah

Pelan kapasiti yang dibina sekitar satu versi model, satu skop dan satu campuran tugas menjadi lapuk sebaik sahaja mana-mana daripadanya berubah. Semak semula pada kadar yang sama dengan log versi, kerana versi model yang lebih baik mengubah berapa banyak masa semakan yang diperlukan setiap output.

Matematik kakitangan beralih, ia tidak lenyap

Pertumbuhan 15x tahun ke tahun dalam ejen aktif dalam Microsoft 365 tidak disertai penurunan sepadan dalam manusia yang mengurus aliran kerja itu. Ia disertai peralihan dalam cara manusia itu menghabiskan masa: kurang menghasilkan, lebih banyak menentukan skop, menyemak, dan menilai, benang merah rupa sebenar masa depan kerja apabila ejen mengambil lebih banyak pelaksanaan. Rancang bilangan kakitangan sekitar peralihan itu dan bukan menganggap kapasiti ejen sebagai pengganti terus bagi seorang manusia.

Urus Baris Kos seperti Belanjawan, Bukan Kejutan

Kos ejen tidak berskala seperti yang dijangka kebanyakan orang. Satu tugas boleh mencetuskan banyak panggilan alat, percubaan semula dan langkah penaakulan, jadi kos setiap tugas boleh bergerak mendadak walaupun harga model setiap token jatuh.

Ketahui ekonomi unit sebenar anda

Kos setiap tugas, bukan kos setiap token, yang penting untuk perancangan, kerana orkestrasi, percubaan semula dan panggilan alat lazimnya membentuk bahagian besar jumlah perbelanjaan di luar invois model. Tanda aras angka itu sebelum berskala, sama seperti anda mengira jumlah beban pekerja baharu, bukan hanya gaji asas. Lihat taktik pengoptimuman kos untuk ejen AI untuk cara pasukan menurunkan angka itu tanpa mengurangkan kualiti.

Letakkan pemutus litar dalam belanjawan

Tetapkan siling kos setiap tugas dan beri amaran secara automatik apabila perbelanjaan menghampirinya, dan bukan mendapati angkanya pada akhir kitaran pengebilan. Itulah jawapan praktikal kepada ramalan Gartner di atas: kebanyakan kejutan kos boleh dielakkan dengan amaran belanjawan yang dicetuskan beberapa minggu lebih awal.

Semak semula kos berbanding nilai pada kadar yang sama

Aliran kerja yang masuk akal untuk diautomasikan pada kos suku tahun lalu mungkin tidak melepasi standard suku tahun ini, atau mungkin melepasinya lebih jauh jika model yang lebih murah menjadi boleh digunakan. Semak kos, kualiti dan jumlah bersama, kerana ejen termurah yang menghasilkan output tidak boleh dipercayai sebenarnya tidak murah.

Tiada apa-apa di sini yang eksotik. Ia disiplin yang sama yang diterapkan pada mana-mana sumber yang menghasilkan kerja atas nama anda: tentukan kerja, tetapkan standard, reka bentuk serah tugas, perhatikan rekod prestasi, ketahui kosnya. Pasukan yang mendapat nilai sebenar daripada ejen pada 2026 bukan yang menjalankan model paling canggih. Mereka menulis manual ini sebelum memerlukannya, dan bukan merekanya secara spontan semasa insiden pertama.