Human-in-the-Loop untuk AI Agent

Human-in-the-loop untuk AI agent berarti membangun titik-titik tertentu dalam loop agent tempat ia berhenti dan menunggu seseorang sebelum melanjutkan, alih-alih membiarkannya berjalan dari awal sampai akhir sendirian. Tujuannya bukan memperlambat agent di mana-mana. Tujuannya menempatkan jeda tepat di titik ketika tindakan yang salah akan mahal, tidak dapat dibatalkan, atau sulit dijelaskan kemudian, dan tidak di tempat lain. Jika penempatannya tepat, agent berjalan tanpa pengawasan untuk semua hal lainnya; jika meleset ke arah mana pun, Anda akan membuat agent macet hingga tidak berguna, atau merilis agent yang bertindak atas penilaian buruk yang tidak tertangkap tepat waktu.

Apa Arti Human-in-the-Loop bagi Agent, Secara Spesifik

Konsep umum human-in-the-loop mencakup banyak kasus penggunaan AI: melabeli data pelatihan, memvalidasi prediksi model, meninjau konten sebelum terbit. Untuk AI agent secara khusus, yang menjalankan loop persepsi, penalaran, tindakan, observasi dan dapat mengeksekusi banyak langkah berturut-turut, pertanyaannya lebih sempit dan lebih mekanis: pada langkah persis mana agent berhenti dan menunggu, dan apa yang diserahkannya kepada manusia agar penantian itu bermakna? Jika Anda belum memutuskan apakah suatu proses memang cocok untuk agent, kapan menggunakan AI agent adalah pemeriksaan kesiapan yang perlu dijalankan lebih dulu. Artikel ini mengasumsikan Anda sudah melewati tahap itu dan kini merancang serah terimanya.

"Manusia harus meninjau tindakan agent" bukanlah spesifikasi yang dapat dibangun atau diaudit siapa pun. "Sebelum langkah Execute apa pun yang mengirim komunikasi eksternal, mengubah catatan keuangan, atau memodifikasi catatan di luar tim pemilik tugas, agent berhenti dan menampilkan permintaan persetujuan yang spesifik" adalah spesifikasi yang bisa. Itu pergeseran yang sama dari samar menjadi operasional yang dilakukan tata kelola berbasis pola pada setiap pola AI, di sini diterapkan khusus pada titik tempat pemanggilan tool agent dijalankan.

Tiga Tempat Manusia Berada dalam Loop

Titik pemeriksaan berada pada momen-momen berbeda dalam proses, dengan jalur serah terima terpisah untuk ketidakpastian yang tidak diantisipasi oleh aturan tetap mana pun.

Setiap agent yang dirancang dengan baik memakai kombinasi dari ketiganya, bukan ketiganya pada setiap tugas. Agent berisiko rendah (menyusun brief SEO, merangkum meeting) dapat berjalan tanpa gerbang dan mendapat pemeriksaan acak ringan setelahnya. Agent berisiko tinggi, yang dapat mengembalikan dana atau mengirim email ke pelanggan, membutuhkan tinjauan pra-proses atas cakupannya ditambah gerbang di tengah proses pada tindakan spesifik yang membawa konsekuensi. Panduan Anthropic tentang membangun agent menyampaikan hal yang sama secara langsung: bangun titik pemeriksaan tempat agent berhenti untuk meminta umpan balik manusia, terutama sebelum tindakan yang tidak dapat dibatalkan, dan beri ia kondisi berhenti yang eksplisit agar tidak lari dari kesalahannya sendiri.

Satu mekanisme keempat layak disebut tersendiri: serah terima confidence-floor. Ini bukan titik pemeriksaan tetap yang terikat pada satu tindakan. Ia aktif ketika agent sendiri menyadari bahwa sinyalnya tidak cukup untuk melanjutkan dengan aman: dua sumber saling bertentangan dan tidak dapat didamaikan, sebuah fakta yang diperlukan tidak ada, situasinya tidak cocok dengan apa pun dalam scenario playbook-nya. Agent menulis catatan serah terima singkat, ini yang saya temukan, ini alasan saya tersangkut, ini yang saya butuhkan dari Anda, lalu menunggu. Ini sering menjadi gerbang paling berharga dalam seluruh sistem, karena menangkap kasus-kasus yang tidak terpikir oleh siapa pun untuk dibuatkan aturannya.

Struktur empat bagian ini, tinjauan pra-proses, gerbang di tengah proses, serah terima confidence-floor, dan audit pasca-proses, persis yang ditetapkan desain human-in-the-loop pada pola Autonomous Agent di tingkat pola. Pembahasan berikut adalah detail operasionalnya: bagaimana memutuskan apa yang benar-benar memicu gerbang, dan apa harga yang Anda bayar bila keputusan itu salah.

Apa yang Harus Selalu Memerlukan Manusia

Di seluruh blueprint dalam pustaka ini, empat kategori yang sama terus muncul sebagai gerbang yang tidak dapat ditawar, apa pun industri atau fungsinya:

• Segala sesuatu yang keluar dari organisasi. Email ke pelanggan, unggahan publik, pesan ke prospek atau kandidat. Setelah terkirim, Anda tidak bisa menariknya kembali, dan pembaca tidak tahu bahwa AI yang menulisnya kecuali ada yang salah secara kasatmata.
• Segala sesuatu yang memindahkan uang. Pengembalian dana, pembayaran, faktur yang disetujui, realokasi anggaran. Tindakan finansial di atas ambang yang ditentukan tidak boleh berjalan tanpa konfirmasi seseorang, seyakin apa pun agent-nya.
• Segala sesuatu yang tidak dapat atau sulit dibatalkan. Menghapus catatan, menutup akun, mencabut akses. Jika membatalkan tindakan itu lebih merepotkan daripada melakukannya, manusia mengonfirmasinya lebih dulu.
• Segala sesuatu di luar cakupan pemilik tugas sendiri. Agent yang memperbarui catatan milik operatornya sendiri adalah satu hal. Agent yang memodifikasi catatan milik orang lain, deal rep lain, pos anggaran departemen lain, membutuhkan pemeriksaan secara khusus karena orang yang paling mampu menangkap kesalahan itu, pemilik catatan yang sebenarnya, bukanlah orang yang memicu tindakan.

Daftar ini bukan sekadar saran. Pasal 14 EU AI Act mewajibkan sistem AI berisiko tinggi dibangun agar pengawas manusia dapat memahami apa yang dilakukan sistem, mengenali ketika ada yang salah, dan menghentikan atau membalikkannya. Persyaratan itu hampir langsung berpadanan dengan keempat kategori ini untuk agent mana pun yang beroperasi di bidang ketenagakerjaan, jasa keuangan, atau pekerjaan yang berhadapan dengan pelanggan, terlepas dari apakah yurisdiksi Anda mewajibkan kepatuhan.

Harga dari Gerbang yang Salah

Ada dua arah kegagalan di sini, dan tim cenderung berlebihan mengoreksi ke satu arah setelah terbakar oleh arah yang lain.

Under-gating adalah kegagalan yang lebih kasatmata. Agent dengan terlalu sedikit titik pemeriksaan menimbulkan kerusakan nyata sebelum ada yang menyadari: mengirim pengembalian dana yang salah ke puluhan akun, membalas keluhan sensitif dengan nada yang keliru, menulis fakta halusinasi ke kolom CRM yang menyebar ke tiga sistem lain sebelum manusia menangkapnya. Ini mode kegagalan yang menjadi fokus setiap pembicaraan keamanan dan tata kelola, dengan alasan yang kuat.

Over-gating adalah kegagalan yang lebih senyap, dan sama umumnya. Arahkan setiap tindakan melalui manusia, termasuk yang aman dan berulang, dan Anda telah membangun antrean persetujuan dengan langkah tambahan, bukan agent. Seluruh tujuan mengotomatiskan triase tiket atau pembersihan CRM adalah mengeluarkan manusia dari bagian tengah pekerjaan yang berulang. Jika setiap tindakan masih membutuhkan satu klik, Anda sudah membayar AI dan tetap menanggung biaya tenaga kerja. Lebih buruk lagi, agent yang over-gated melatih para peninjaunya untuk asal menyetujui: meninjau 200 persetujuan berisiko rendah per hari mengajarkan orang berhenti membacanya dengan cermat, diam-diam menggagalkan tujuan gerbang yang Anda pertahankan.

Solusinya bukan rasio universal antara tindakan yang digerbangi dan yang tidak. Solusinya adalah spesifik tentang tindakan mana yang benar-benar membawa keempat jenis risiko di atas, menggerbangi hanya itu, dan membiarkan sisanya berjalan. Gartner memprediksi bahwa lebih dari 40% proyek agentic AI akan dibatalkan pada akhir 2027, dengan menunjuk membengkaknya biaya, nilai bisnis yang tidak jelas, dan kontrol risiko yang tidak memadai sebagai penyebab utama, dan kedua arah kegagalan di atas muncul di dalam angka itu. Proyek yang terbakar oleh under-gating dihentikan setelah insiden. Proyek yang tersendat oleh over-gating diam-diam kehabisan anggaran karena tidak pernah memberikan penghematan waktu yang dijanjikannya.

Bagaimana Blueprint Rework Merancang Serah Terimanya

Polanya muncul di fungsi-fungsi yang sangat berbeda begitu Anda tahu apa yang dicari:

• AI SDR Agent menjalankan sekuens outbound sendiri, tetapi begitu sebuah balasan menanyakan harga atau menandakan niat membeli yang nyata, ia menghentikan sekuens dan menyerahkan percakapan kepada AE yang ditugaskan dengan ringkasan singkat, alih-alih berimprovisasi menjawab.
• AI Contract Review Agent menandai klausul berisiko terhadap playbook Anda, tetapi manusia menyetujui setiap perubahan sebelum kembali ke pihak lawan. Agent tidak pernah mengedit kontrak yang aktif sendirian.
• Expense Approval Agent menyetujui otomatis pengeluaran yang jelas sesuai kebijakan dan mengarahkan pengecualian ke seseorang, sehingga gerbang hanya aktif pada kasus yang benar-benar membutuhkan penilaian.
• AI Proposal/Quote Agent menyusun proposal dari CRM dan katalog Anda serta menerapkan aturan harga Anda, lalu mengarahkan draf yang sudah jadi untuk persetujuan manusia sebelum apa pun sampai ke prospek.
• AI Collections AR Agent mengirim pengingat pembayaran sesuai jadwal tetapi dibangun untuk tahu kapan harus berhenti, mengeskalasi ke seseorang alih-alih terus menagih akun hingga berujung sengketa.

Perhatikan kesamaannya: agent mengerjakan pekerjaan bervolume, menyusun, mencocokkan, menilai, menyusun sekuens, dan manusia membuat tepat satu keputusan, pada tepat saat keputusan itu layak dibuat. Itulah desainnya, bukan kompromi atasnya.

Membangun Serah Terima ke dalam Agent Anda

Tiga langkah praktis membuat serah terima benar-benar berfungsi, bukan sekadar ada di atas kertas.

Tahap sebelum komit. Arahkan output agent ke area staging terlebih dahulu, folder draf, antrean menunggu persetujuan, tab tinjauan, alih-alih menulis langsung ke sistem pencatatan utama. Tinjauan manusia lima menit atas pembaruan CRM yang di-staging menangkap sebagian besar kesalahan tanpa menghancurkan penghematan waktu, dan itu mode kegagalan yang sama sekali berbeda dari meninjau catatan live setelah kejadian.

Tulis catatan serah terima dengan sungguh-sungguh. Saat agent menyerahkan, ia harus menyerahkan konteks, bukan hanya tugas. "Ini yang saya temukan, ini alasan saya ragu, ini yang perlu Anda putuskan" memberi peninjau semua yang mereka butuhkan dalam sekali baca. Notifikasi polos "perlu ditinjau" memaksa manusia mengulang riset agent hanya untuk menyusul, menghapus sebagian besar waktu yang dihemat.

Catat setiap gerbang, bukan hanya yang aktif. Jejak audit atas setiap titik pemeriksaan yang dilewati agent, yang disetujui maupun ditolak, memungkinkan Anda menilai apakah gerbang Anda sudah terkalibrasi. Jika 95% persetujuan hanya di-"ya"-kan tanpa suntingan, gerbang itu mungkin aman dilonggarkan. Jika sebuah gerbang terus menangkap kesalahan nyata, ia berada tepat di tempat yang seharusnya. Ini disiplin jejak audit yang sama yang mendasari persyaratan tata kelola setiap pola, dan inilah yang mengubah "kami punya manusia dalam loop" dari sekadar klaim menjadi sesuatu yang benar-benar dapat Anda buktikan.

Jika Anda membangun gerbang ini di atas alat workflow, bukan kode khusus, fitur langkah persetujuan dan staging sangat bervariasi antarplatform. Bandingkan opsi di kategori otomatisasi, dan lihat cara memilih perangkat lunak otomatisasi workflow untuk apa yang perlu ditanyakan tentang routing persetujuan dan pencatatan audit sebelum Anda menstandardisasi satu platform.

Key Facts

• Human-in-the-loop untuk agent berarti titik jeda spesifik di dalam loop persepsi-penalaran-tindakannya, bukan kebijakan samar bahwa manusia "mengawasi" AI.
• Empat kategori hampir selalu membutuhkan gerbang: komunikasi eksternal, tindakan finansial, tindakan yang tidak dapat dibatalkan, dan tindakan pada catatan di luar cakupan pemilik tugas sendiri.
• Pasal 14 EU AI Act mewajibkan sistem AI berisiko tinggi memungkinkan manusia memahami, mengesampingkan, dan menghentikan sistem, dasar hukum yang berpadanan erat dengan keempat kategori yang sama ini.
• Over-gating adalah kegagalan yang sama nyatanya dengan under-gating: arahkan semuanya melalui manusia dan Anda telah membangun antrean persetujuan yang lebih lambat, bukan agent otomatis.
• Gartner memproyeksikan lebih dari 40% proyek agentic AI akan dibatalkan pada 2027, dengan kontrol risiko yang tidak memadai sebagai salah satu penyebab utama, persis kegagalan yang dicegah oleh pekerjaan desain ini.

Langkah Selanjutnya

Menempatkan gerbang yang tepat baru separuh pekerjaan. Guardrails AI agent membahas separuh lainnya, aturan keras yang tidak boleh dilanggar agent siapa pun yang menyetujui apa pun, dan prompt injection membahas serangan spesifik yang membuat input tak tepercaya cukup berbahaya sehingga gerbang ini diperlukan sejak awal. Mulailah dari cara membangun AI agent jika Anda masih mendefinisikan lima blok penyusun lainnya di sekitar yang satu ini.