Daripada Pelaksana kepada Orkestrator: Cara AI Menulis Semula Kerja Penyumbang Individu

Roda orkestrator yang menyalurkan kerja yang diwakilkan melalui pusat semakan kualiti

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Peranan orkestrator ialah apa yang akan menjadi kerja seorang penyumbang individu apabila ejen AI mengambil bahagian pelaksanaan yang semakin besar. Daripada menghasilkan output secara langsung, orang itu menentukan masalah, menetapkan arahan kerja, memutuskan apa yang diserahkan, dan mengesahkan hasilnya. Ia menukar "melakukan kerja" dengan "bertanggungjawab ke atas kerja yang dilakukan oleh orang lain, atau sesuatu yang lain."

Ia kedengaran seperti kenaikan pangkat. Hakikatnya ia kerja yang berbeza dengan set kemahiran yang lebih sukar, dan kebanyakan IC belum dilatih untuknya.

Fakta Utama

Kerja Itu Tidak Mengecil, Ia Beralih

Frontier Firm dan kebangkitan ketua ejen sudah membincangkan rupa perkara ini di peringkat organisasi: istilah Microsoft bagi syarikat yang ejen AI-nya bekerja dalam aliran kerja harian, dan setiap pekerja akhirnya membina, mewakilkan tugas kepada dan mengurus ejen sebagaimana pengurus dahulu mengurus manusia. Artikel itu tentang budaya dan carta organisasi. Artikel ini tentang apa yang berlaku kepada kerja anda sendiri apabila perkara itu menjadi kenyataan khusus untuk anda.

Jika anda menulis kod, mengarang salinan, membina model, atau mengendalikan tiket sokongan, sebahagian nyata daripada tindakan fizikal menghasilkan kerja itu kini boleh dicuba oleh ejen. Tidak sempurna, tidak untuk semuanya, tetapi untuk bahagian yang semakin besar. Bahagian kerja anda yang dahulunya "kuasai domain dan hasilkan output" kini berpecah kepada dua kemahiran berasingan: menguasai domain, dan mengarahkan ejen yang menghasilkan draf pertama output itu.

Kesilapannya ialah menganggap kemahiran kedua sebagai versi lebih kecil bagi yang pertama, sesuatu yang diperoleh dengan menggunakan antara muka sembang selama beberapa minggu. Bukan begitu. Menentukan tugas dengan cukup tepat supaya ejen melaksanakannya dengan betul, kemudian mengesan cara ia tersasar, menggunakan bahagian kepakaran anda yang berbeza daripada melakukan tugas itu sendiri. Pasukan manusia-ejen berfungsi dengan baik apabila orang memahami perbezaan itu, dan dengan buruk apabila semua orang menganggap kecekapan melakukan kerja berpindah secara automatik kepada kecekapan mengarahkannya. Topologi pasukan untuk pasukan manusia-ditambah-ejen membawa peralihan itu ke tahap lebih tinggi, iaitu di mana ejen sebenarnya berada dalam struktur sesebuah pasukan dan bukan sekadar dalam senarai tugas seseorang.

Apa Sebenarnya Maksud "Orkestrator"

Dua peralihan mentakrifkan peranan ini, mudah dinyatakan tetapi sukar dilalui.

Daripada menghasilkan kepada menentukan

Output utama seorang orkestrator bukan lagi hasil serahan. Ia ialah arahan kerja: pernyataan masalah, kekangan, contoh rupa "siap," dan sempadan perkara yang dibenarkan diputuskan sendiri oleh ejen. Jika arahan kerja salah, output salah walau secanggih mana model di bawahnya. Ini disiplin yang sama seperti kejuruteraan prompt, tetapi diperluaskan daripada satu arahan bijak kepada spesifikasi tahan lama yang boleh digunakan semula, yang mesti berfungsi pada kali kelima dan kelima puluh, bukan hanya kali pertama.

Daripada melakukan kepada menyemak, dengan taruhan sebenar

Menyemak output ejen bukan aktiviti yang sama seperti menyemak kerja rakan sekerja junior, dan menganggapnya begitu ialah salah satu mod kegagalan yang lebih biasa. Rakan sekerja junior yang tidak tahu sesuatu biasanya berkata demikian, atau menghasilkan sesuatu yang jelas kasar di tepinya. Model yang berkebolehan menghasilkan output yang yakin, berformat kemas dan kedengaran munasabah sama ada betul atau tidak, jurang yang dikenali dalam bidang ini sebagai halusinasi AI. Orkestrator mesti membekalkan keraguan yang tidak akan diisyaratkan oleh hasil kerja itu sendiri.

Empat Kompetensi Teras Peranan Orkestrator

1. Pemecahan masalah

Empat instrumen fizikal yang mewakili kompetensi teras seorang orkestrator AI

Sebelum anda boleh menyerahkan tugas kepada ejen, anda mesti memecahkannya kepada bahagian yang cukup kecil dan jelas supaya "betul" dan "salah" boleh disemak. Permintaan kabur seperti "baiki proses ini" tidak boleh diwakilkan kepada sesiapa, manusia atau ejen. Versi yang dipecahkan, "kenal pasti tiga langkah dalam proses ini dengan masa kitaran terpanjang dan sediakan cadangan untuk mengurangkan setiap satu sebanyak 20%," boleh. Ini dahulu kemahiran pengurusan projek yang diamalkan kebanyakannya oleh ketua dan pengurus. Kini ia jangkaan asas bagi sesiapa yang kerjanya termasuk mengarahkan aliran kerja agentik.

2. Menetapkan konteks

Ejen hanya tahu apa yang ada dalam arahan kerjanya, latihannya, dan apa sahaja yang boleh diambilnya. Ia tidak tahu sejarah politik mengapa versi terdahulu dokumen ini ditolak, atau pihak berkepentingan mana yang sebenarnya mempunyai kuasa veto, atau bahawa "ringkas" membawa maksud tertentu di syarikat ini kerana CEO tidak suka memo panjang. Menetapkan konteks ialah amalan mengeluarkan pengetahuan tersirat yang biasanya anda guna tanpa berfikir, supaya ejen tidak menghasilkan kerja yang betul dari segi teknikal tetapi gagal atas sebab yang tidak mungkin diketahuinya. Mengurus ejen AI sebagai sebahagian daripada pasukan membincangkan disiplin penetapan skop yang sama sebagai kerja operasi berterusan, bukan arahan kerja sekali sahaja: standard kualiti, serah tugas dan laluan peningkatan yang terus berfungsi selepas tugas pertama.

3. Menetapkan standard kualiti

"Cukup baik" ialah penilaian, dan ia mesti dibuat sebelum kerja bermula, bukan selepas, atau proses semakan bertukar menjadi pertengkaran dengan diri sendiri tentang sasaran yang bergerak. Menetapkan standard bermaksud menentukan bukti, format, nada dan tahap ketelitian yang mesti dipenuhi output, dan melakukannya dengan cukup jelas supaya orang kedua (atau larian ejen kedua) boleh menyemak kerja berdasarkan piawaian yang sama. Pasukan yang melangkau langkah ini cenderung sama ada menyemak berlebihan segala-galanya kerana bimbang atau menyemak terlalu sedikit kerana letih, dan kedua-dua mod kegagalan muncul dalam jenis output berusaha rendah dan berjumlah tinggi yang mula digelar oleh sesetengah pasukan sebagai workslop.

4. Tahu bila perlu melakukannya sendiri

Ini kompetensi yang paling kurang diberi perhatian dan paling penting. Kajian lapangan BCG dan Harvard Business School mendapati perunding yang menggunakan AI jauh lebih baik dalam tugas di dalam sempadan keupayaan model dan jauh lebih teruk dalam tugas di luarnya, dan sempadan itu sendiri bergerigi: dua tugas yang kelihatan sama sukar kepada manusia boleh berada di sisi yang bertentangan. Penyelidik juga mendapati profesional terbahagi kepada corak penggunaan yang berbeza. Kira-kira satu pertiga bertindak sebagai "centaur," menarik garis yang jelas antara kerja yang diserahkan kepada AI dan kerja yang disimpan sendiri, memelihara pertimbangan mereka pada separuh yang lebih sukar. Kumpulan yang jauh lebih besar mengadun AI ke dalam segala-galanya tanpa pilih. Mengetahui kategori tugas yang anda hadapi, dan mempunyai disiplin untuk menyimpan bahagian yang sukar, kabur dan bertaruhan tinggi untuk diri sendiri, ialah penilaian paling sukar dalam peranan orkestrator, kerana ejen akan mencuba tugas itu walau bagaimanapun dan jarang memberitahu anda ia di luar kemampuannya.

Kemahiran IC Lama berbanding Setara Orkestrasi Baharu

Pengeluaran langsung membina hasil serahan; orkestrasi menentukan tugas, mewakilkan pelaksanaan, dan mengesahkan hasilnya.

Pengeluaran langsung berbanding orkestrasi AI dari segi fokus, bukti dan mod kegagalan

Kemahiran teras IC lama Setara orkestrasi baharu
Menghasilkan sendiri hasil serahan, dari awal hingga akhir Menentukan hasil serahan dengan cukup tepat untuk dicuba oleh ejen
Pengetahuan domain digunakan semasa melakukan kerja Pengetahuan domain digunakan semasa menulis arahan kerja dan menilai output
Meminta maklum balas pengurus atau rakan sebaya semasa tugas berjalan Menetapkan standard kualiti di awal, kerana ejen tidak menandakan ketidakpastiannya sendiri
Membina kepantasan melalui pengulangan tugas itu sendiri Membina kepantasan melalui arahan kerja, templat dan aliran kerja agentik yang boleh digunakan semula dengan lebih baik
Mempelajari kemahiran dengan banyak mengulang keseluruhan tugas Mempelajari kemahiran dengan cukup banyak mengulang supaya masih mengenali jawapan yang salah
Dinilai berdasarkan jumlah dan output peribadi Dinilai berdasarkan keputusan penilaian: apa yang diwakilkan, apa yang tidak, dan mengapa
Meningkatkan isu apabila tersekat Mengesan bila ejen salah dengan yakin, bukan sekadar tersekat

Mengapa Ini Sebenarnya Lebih Sukar daripada yang Disangka

Mudah untuk menganggap orkestrasi sebagai kerja yang lebih sedikit daripada melakukan tugas itu sendiri. Kadangkala memang begitu. Tetapi tiga perkara menjadikannya kemahiran yang lebih sukar dibina dengan baik, bukan lebih mudah, dan siling yang sama yang menghadkan bilangan orang yang boleh diselia dengan baik oleh seorang pengurus turut menghadkan bilangan ejen yang benar-benar boleh diarahkan seorang orkestrator tanpa semakan menjadi cetek; julat kawalan apabila ejen melakukan kerja membincangkan siling itu secara langsung.

Tiga halangan yang menjadikan orkestrasi AI lebih sukar daripada yang kelihatan

Sempadan itu bergerak dan tidak berlabel

Tiada apa-apa pada skrin yang memberitahu anda sama ada tugas yang baru anda serahkan berada di dalam atau di luar sempadan keupayaan sebenar model. Penurunan 19 mata dalam ketepatan bagi tugas di luar sempadan dalam kajian BCG berlaku kepada perunding yang, secara purata, mahir dalam kerja mereka dan menggunakan model terkemuka. Kegagalan itu bukan jurang kemahiran dalam menggunakan AI. Ia kesilapan kategori: menganggap tugas yang kelihatan rutin seolah-olah ia berada di dalam sempadan sedangkan tidak. Membina penilaian untuk mengesannya dalam domain anda sendiri memerlukan latihan yang disengajakan, bukan kebiasaan dengan alat itu.

Pengesahan ialah beban kognitif yang berbeza daripada pengeluaran

Menghasilkan kerja mengekalkan anda di dalam masalah itu sepanjang masa; anda perasan ketidakselarasan semasa ia berlaku kerana anda membina sesuatu itu sedikit demi sedikit. Menyemak hasil siap orang lain, manusia atau ejen, bermakna membina semula pemahaman yang sama dari luar, selalunya lebih pantas daripada semasa anda membinanya kali pertama. Itu usaha kognitif yang nyata, dan melangkaunya ialah cara tepat kesilapan yang meyakinkan terlepas. Pengesahan bukan "kerja yang lebih sedikit daripada melakukannya." Ia kerja yang berbeza, dan menganggapnya pilihan ringan ialah cara orkestrasi menjadi salah secara senyap.

Kebanyakan organisasi tidak membina kemahiran ini dengan sengaja

Project NANDA milik MIT mendapati kebanyakan projek perintis AI generatif perusahaan tidak pernah menghasilkan pulangan kewangan yang boleh diukur, dan benang biasa merentasi kegagalan itu bukan modelnya, tetapi ketiadaan gelung pembelajaran organisasi yang diperlukan untuk menggunakannya dengan baik: pemilikan yang jelas, reka bentuk semula aliran kerja, dan orang yang benar-benar tahu mengarahkan alat itu dan bukan sekadar mengaksesnya. Kompetensi orkestrator di atas ialah gelung yang hilang itu, diterapkan pada peringkat kerja seorang individu. Syarikat yang menganggap peralihan ini sebagai "beri orang alat itu dan biar mereka cari jalan" melangkau latihan untuk kemahiran baharu dan berharap kemahiran lama berpindah dengan percuma.

Risikonya: Menjadi Penyemak Kerja yang Tidak Lagi Anda Fahami

Ada satu mod kegagalan khusus yang wajar dinamakan dengan jelas: seorang IC yang mewakilkan pelaksanaan dengan cukup banyak, cukup lama, sehingga kefasihan praktikalnya dalam kerja asas itu terhakis secara senyap, sedangkan jawatannya masih menyatakan dia bertanggungjawab ke atasnya.

Cop semakan yang tajam di atas alat kraf yang pudar kerana kurang latihan

Ini versi praktikal peringkat individu bagi bias automasi, kecenderungan yang didokumenkan dengan baik untuk menerima output sistem automatik dengan pemeriksaan yang kurang daripada yang sepatutnya, terutama setelah ia betul cukup kerap untuk mendapat kepercayaan. Penyelidikan yang dikaji oleh Microsoft mendapati usaha pengesahan yang meningkat dan disengajakan ialah salah satu daripada sedikit intervensi yang mengurangkannya secara boleh dipercayai. Itu tabiat khusus yang boleh dipelajari, bukan sifat peribadi, dan ia perlu diberi nama dalam pasukan: seseorang mesti memiliki tugas menyemak semula kerja secara jelas, dan bukannya menganggap peranan bernama "penyemak" akan menjadikannya berlaku.

Rangka kerja ahli ekonomi David Autor tentang interaksi automasi dengan kepakaran menarik garis yang berguna di sini: sesetengah alat menghapuskan keperluan kepakaran, dan sesetengah menggandakan kuasanya, dan yang mana anda peroleh bergantung pada cara alat itu digunakan, bukan pada alat itu sendiri. Orkestrator yang terus melakukan sendiri 20% kerja yang paling sukar, bahagian yang salah dilakukan model, menggunakan AI sebagai pengganda kuasa bagi pertimbangannya sendiri. Yang sudah senyap-senyap berhenti melakukannya berisiko menjadi penyemak bagi domain yang tidak lagi diamalkannya, kedudukan yang rapuh untuk bertanggungjawab. Human-in-the-loop hanya bermakna jika manusia berkenaan masih mempunyai kedudukan untuk mengesan apa yang salah.

Kesan terhadap Kekananan dan Kepuasan Kerja

Kekananan dahulu boleh diukur, sebahagiannya, melalui banyak mana kerja yang dapat dihasilkan seseorang secara peribadi dan seberapa pantas. Ukuran itu semakin kabur: penganalisis junior dengan aliran kerja ejen yang dibina dengan baik kini boleh menghasilkan jumlah output draf pertama yang dahulu mengambil masa seminggu penuh orang senior. Yang tidak semudah itu diganti ialah penilaian: mengetahui 20% mana daripada sesuatu tugas yang berbaloi dilakukan dengan teliti secara manual, mengenali bila jawapan yakin ejen secara senyap salah, dan menetapkan standard kualiti yang cukup tepat supaya perbezaannya boleh disemak. Itulah tepatnya kepakaran yang diterangkan Autor dan Thompson sebagai digandakan kuasanya dan bukan lenyap, dan ia lebih sukar diletakkan dalam resume berbanding "menghantar X ciri" atau "menulis Y laporan."

Kepuasan kerja menerima kesan berkaitan yang wajar disebut dengan jujur. Ramai orang menyukai melakukan kerja itu sendiri, bukan sekadar bertanggungjawab ke atas hasilnya: kraf peringkat ayat, keadaan aliran membina sesuatu dari hujung ke hujung, teka-teki model itu. Orkestrasi mengekalkan pembuatan keputusan dan menyingkirkan banyak perkara yang terasa seperti aliran. Sebahagian kepuasan itu boleh berpindah kepada apa yang tinggal (pembingkaian, keputusan penilaian, saat masalah sebenar timbul), tetapi berpura-pura pertukaran itu seimbang bagi semua orang tidak jujur. Keselamatan psikologi penting di sini khususnya kerana mengaku "saya rindu melakukan bahagian ini sendiri" tidak sepatutnya dibaca sebagai penentangan terhadap perubahan.

Cara Pengurus Patut Menyokong Peralihan Ini

Tiada satu pun daripada empat kompetensi di atas muncul secara automatik hanya kerana seseorang mempunyai akses kepada ejen. Pengurus yang mahu pasukan mereka benar-benar membangunkannya patut:

  • Ajar pemecahan masalah secara jelas, sebagaimana orientasi dahulu mengajar cara menjalankan alat tertentu. Semak beberapa arahan kerja sebenar bersama dan tunjukkan di mana permintaan kabur menyembunyikan tiga keputusan berasingan.
  • Lindungi masa untuk pengesahan, bukan sekadar masa untuk menghasilkan lebih banyak output. Jika ejen mengurangkan masa menyediakan draf separuh dan masa yang dijimatkan diserap sepenuhnya ke dalam lebih banyak jumlah, tiada sesiapa yang benar-benar menyemak dengan lebih teliti.
  • Takrifkan semula rupa output "senior" dalam pasukan anda, secara jelas, supaya orang tidak diukur secara senyap berdasarkan piawaian jumlah yang tidak lagi mencerminkan nilai. Ini kerja reka bentuk organisasi dan penilaian sama seperti kerja kemahiran; lihat membina budaya sedia AI untuk versi lebih luas peralihan ini.
  • Bina latihan yang disengajakan untuk penilaian, bukan sekadar penggunaan alat. Beri orang latihan mengesan kesilapan yang sengaja diselitkan dalam output ejen, sebagaimana juruterbang berlatih dengan kegagalan simulasi dan bukan hanya terbang apabila semuanya berjalan lancar.
  • Katakan dengan jelas bahawa ini kerja yang berbeza, bukan versi lebih pantas bagi kerja lama. Menamakan jurang kemahiran dengan jujur itulah yang menjadikan selamat untuk mengaku anda belum menutupnya, iaitu prasyarat untuk benar-benar menutupnya.

Bayangkan versi peranan ini yang dilakukan dengan baik: seseorang yang menghabiskan lebih sedikit masa menaip draf pertama dan lebih banyak masa memutuskan apa maksud "betul" sebelum draf itu wujud, dan yang boleh memberitahu anda dengan tepat bahagian output mana yang berani dia pertaruhkan namanya dan bahagian mana yang belum disemaknya dengan cukup teliti untuk dipercayai. Itu kerja yang lebih sukar untuk diambil pekerja dan lebih sukar dilatih, tetapi ia kerja yang sebenarnya tersedia sekarang, dan berpura-pura ia kerja yang sama dengan papan kekunci lebih pantas ialah cara pasukan berakhir dengan output yang yakin dan tidak disemak serta tiada siapa yang benar-benar bertanggungjawab mengesannya.

About the author

Victor Hoang

Victor Hoang

Co-Founder, Rework.com

Victor Hoang is Co-Founder and CMO of Rework. He spent 12+ years scaling B2B SaaS growth, building a lead engine that generated over 1 million leads and $10M+ in annual recurring revenue. Today he builds AI agents and MCP servers into Rework's products to empower customers across growth and operations. He writes about what actually works.