Risiko AI dalam Layanan Pelanggan: Jawaban Salah, Tanggung Jawab Hukum, dan Kerusakan Merek

Oleh Linh Ngo · Diperbarui 11 Oktober 2026

Risiko AI dalam layanan pelanggan adalah kemungkinan agen AI memberi pelanggan informasi yang salah, berbahaya, atau tidak sesuai merek, atau mengambil tindakan yang keliru, lalu perusahaan Anda harus mempertanggungjawabkannya. Kata kuncinya adalah Anda. Ketika bot berbicara di situs web Anda, pelanggan dan, semakin sering, pengadilan menganggap ucapannya sebagai ucapan Anda.

Itulah pelajaran dari kasus paling terkenal sejauh ini. Pada Februari 2024, sebuah tribunal di Kanada memerintahkan Air Canada membayar seorang penumpang setelah chatbot-nya memberikan informasi tarif yang salah. Nilainya kecil. Pertimbangan hukumnya tidak. Panduan ini membahas kasus tersebut dan tiga kasus lain, mengelompokkan risiko ke dalam tabel yang bisa Anda pakai sebagai daftar periksa, dan ditutup dengan pengaman yang dapat diterapkan manajer dukungan tanpa menunggu tim hukum. Ini adalah gambaran praktis, bukan nasihat hukum, jadi konfirmasikan hal yang spesifik untuk pasar Anda kepada penasihat hukum. Untuk gambaran koleksi yang lebih luas, lihat AI dalam layanan pelanggan.

Fakta Utama

• Pada 14 Februari 2024, Civil Resolution Tribunal di British Columbia memutuskan dalam perkara Moffatt v. Air Canada bahwa maskapai tersebut bertanggung jawab atas apa yang dikatakan chatbot-nya kepada pelanggan (Daily Hive).
• Nilainya sederhana: ganti rugi $650,88, bunga $36,14, dan biaya tribunal $125, total sekitar $812. Nilai preseden jauh lebih besar daripada jumlah itu.
• Tribunal menolak argumen bahwa bot adalah badan hukum yang terpisah, dan menyimpulkan Air Canada tidak mengambil langkah kehati-hatian yang wajar untuk memastikan chatbot-nya akurat (Manatt).
• Tidak semua kegagalan bersifat hukum. Chatbot DPD mengumpat dan mengkritik perusahaannya sendiri, dan tangkapan layarnya dilihat lebih dari satu juta kali (Yahoo News).
• Consumer Financial Protection Bureau (CFPB) Amerika Serikat memperingatkan pada 2023 bahwa perusahaan dapat dimintai pertanggungjawaban ketika chatbot gagal mematuhi hukum keuangan konsumen (CFPB).

Empat Jenis Kegagalan Dukungan AI

Sebagian besar insiden masuk ke salah satu dari empat kelompok, dan masing-masing membutuhkan pengaman yang berbeda.

1. Jawaban salah. AI menyatakan kebijakan, harga, atau aturan yang tidak benar. Inilah masalah halusinasi, dan yang paling sering terjadi.
2. Tindakan salah. AI tidak hanya berbicara, tetapi melakukan sesuatu: memproses pengembalian dana, mengubah akun, menjanjikan tanggal pengiriman. Kesalahan di sini memindahkan uang atau menciptakan komitmen.
3. Perilaku tidak sesuai merek. AI mengumpat, menghina, bercanda tentang tragedi, atau mengkritik perusahaan. Tidak ada fakta yang salah, tetapi kepercayaan yang menanggung akibatnya.
4. Pelanggan terjebak. AI menahan pelanggan dalam lingkaran tanpa jalur menuju manusia, sehingga kekesalan berubah menjadi keluhan atau masalah regulasi.

Empat kasus di bawah ini sesuai dengan kategori tersebut. Dalam istilah ACE, kasus pertama dan ketiga berasal dari Generate (model menghasilkan teks), sedangkan kasus kedua menambahkan Execute (model bertindak pada sistem), dan di sinilah tata kelola paling penting.

Kasus 1: Air Canada dan Tarif Duka Cita

Jake Moffatt bertanya kepada chatbot situs web Air Canada tentang tarif duka cita setelah neneknya meninggal. Chatbot menyatakan ia dapat mengajukan tarif potongan itu secara retroaktif, dalam 90 hari setelah membeli tiket. Staf Air Canada kemudian memberi tahu bahwa pengajuan retroaktif tidak diizinkan, dan kebijakan di situs web maskapai sendiri menyatakan tarif duka cita tidak berlaku untuk perjalanan yang sudah dilakukan (Fox Business). Ia menuntut pengembalian dana sebagian sekitar $880.

Pembelaan Air Canada adalah bagian yang menarik. Maskapai berargumen bahwa mereka tidak dapat dimintai tanggung jawab atas informasi dari chatbot-nya, dan bahwa kebijakan yang akurat tersedia di bagian lain situsnya. Anggota tribunal Christopher Rivers menolak kedua poin itu. Tribunal menyimpulkan bahwa Air Canada memiliki kewajiban kehati-hatian kepada Moffatt, tidak mengambil langkah wajar untuk memastikan chatbot-nya akurat, dan telah melakukan misrepresentasi akibat kelalaian (Manatt). Tribunal juga menyatakan bahwa chatbot adalah bagian dari situs web maskapai, dan maskapai bertanggung jawab atas semua informasi di dalamnya, baik berasal dari halaman statis maupun chatbot (Daily Hive). Kasus ini dilaporkan sebagai Moffatt v. Air Canada, 2024 BCCRT 149.

Dua catatan menjaga kejujuran analisis ini. Ini adalah putusan tribunal sengketa kecil di satu provinsi Kanada, sehingga tidak mengikat pengadilan di tempat lain. Dan klaimnya sempit: seorang pelanggan mengandalkan pernyataan salah yang spesifik dan kehilangan uang. Meski begitu, pesan praktisnya berlaku luas. "Bot yang mengatakannya, bukan kami" dan "jawaban yang benar ada di halaman lain" tidak berhasil sebagai pembelaan di sini, dan sebaiknya Anda berasumsi pembelaan itu tidak akan berhasil bagi Anda juga.

Kasus 2: DPD dan Chatbot yang Keluar dari Naskah

Pada Januari 2024, seorang pelanggan DPD bernama Ashley Beauchamp memancing chatbot perusahaan pengiriman itu untuk mengumpat dan mengatakan "DPD adalah perusahaan pengiriman terburuk di dunia." Ia mengunggah tangkapan layar pada 18 Januari 2024, dan unggahan itu dilihat lebih dari satu juta kali. DPD menyatakan bahwa sebuah kesalahan muncul setelah pembaruan sistem, bahwa "elemen AI langsung dinonaktifkan," dan bahwa elemen tersebut telah berjalan baik selama beberapa tahun berdampingan dengan layanan pelanggan manusia (Yahoo News).

Tidak ada yang kehilangan uang di sini. Kerugiannya bersifat reputasi, dan pelanggan sengaja memancing bot tersebut. Itulah intinya. Risiko merek tidak membutuhkan korban, hanya tangkapan layar. Perhatikan juga apa pemicunya: pembaruan sistem rutin. Setiap perubahan pada model, prompt, atau pengaturan dapat membatalkan perilaku yang Anda uji bulan lalu.

Kasus 3: Cursor dan Kebijakan Karangan

Pada April 2025, pengguna alat pemrograman Cursor yang bertanya mengapa mereka keluar (logout) di beberapa mesin sekaligus menerima email dari bot dukungan AI perusahaan yang menyatakan bahwa itu adalah perilaku yang diharapkan. Kebijakan semacam itu tidak ada. Salah satu pendiri, Michael Truell, menulis di Reddit, "Hey! We have no such policy," menyebut balasan itu respons yang salah dari bot dukungan AI garis depan, dan meminta maaf. Cursor menyatakan bahwa respons AI yang digunakan untuk dukungan email kini akan diberi label yang jelas, dan pengembang yang mengangkat masalah itu mendapat pengembalian dana (The Register).

Ini adalah pola Air Canada di industri yang berbeda: aturan karangan yang yakin dan spesifik. AI tidak mengatakan "Saya tidak yakin." Ia mengisi celah dengan sesuatu yang tampak masuk akal. Respons perusahaan juga layak dipelajari. Koreksi publik yang cepat, pengembalian dana, dan label pada balasan AI adalah playbook yang masuk akal untuk hari ketika hal ini menimpa Anda.

Kasus 4: Chatbot MyCity New York dan Saran Ilegal

Pada Oktober 2023, Kota New York meluncurkan chatbot AI di portal MyCity untuk membantu pemilik bisnis memahami aturan kota. Pada Maret 2024, The Markup melaporkan bahwa bot sering memberi jawaban yang tidak lengkap atau salah. Bot menyatakan bahwa pemilik properti tidak wajib menerima voucher Section 8, bahwa pengusiran penyewa dengan mengunci mereka di luar adalah legal, bahwa restoran boleh tidak menerima uang tunai meskipun ada undang-undang kota tahun 2020 yang mewajibkan penerimaan uang tunai, dan bahwa pemberi kerja boleh mengambil sebagian tip pekerja. Jawabannya juga berbeda-beda: bot memberi tahu satu reporter bahwa pemilik properti wajib menerima voucher, dan memberi tahu sepuluh staf lain bahwa mereka tidak wajib. Juru bicara kota menggambarkan bot itu sebagai proyek percontohan yang akan terus membaik (The Markup).

Ini bukan pusat bantuan perusahaan, tetapi menunjukkan versi terburuk dari jawaban salah: saran yang, jika diikuti, melanggar hukum. Jika AI Anda menjawab pertanyaan tentang kontrak, hukum harga, keselamatan, kesehatan, atau ketenagakerjaan, Anda berada di wilayah yang sama. Ketidakkonsistenan itu sendiri adalah risiko, karena pertanyaan yang sama bisa mendapat jawaban berbeda pada hari yang berbeda.

Tabel Risiko: Risiko, Contoh, Pengaman, Pemilik

Gunakan ini sebagai daftar periksa awal. "Pemilik" berarti peran yang seharusnya mampu mempertanggungjawabkan risiko tersebut, bukan orang yang mengerjakan semuanya.

Dua baris terakhir memiliki panduannya sendiri karena aturannya berbeda di tiap negara dan sering berubah. Anggap artikel ini sebagai peta, dan panduan itu sebagai detailnya.

Mengapa Regulator Peduli

Anda tidak perlu gugatan hukum untuk merasakan tekanannya. Laporan CFPB Juni 2023 tentang chatbot di bidang keuangan konsumen menyatakan bahwa chatbot diharapkan mematuhi semua hukum keuangan konsumen federal yang relevan, dan bahwa perusahaan dapat dimintai pertanggungjawaban bila tidak. Laporan itu mencantumkan informasi yang tidak akurat, kegagalan mengenali sengketa, "doom loop" tanpa jalur menuju manusia, dan risiko privasi di antara kekhawatirannya. Laporan itu menyatakan tidak memberlakukan kewajiban baru (CFPB). Perhatikan bahwa ini berbicara tentang layanan keuangan di AS. Jika Anda beroperasi di tempat lain atau di industri lain, rinciannya berbeda, tetapi arahnya sama: kanal tidak mengubah kewajiban.

Cara Mengurangi Risiko: Delapan Langkah

1. Tentukan apa yang tidak boleh dilakukan AI. Tulis daftar singkat topik dan tindakan terlarang: saran hukum, panduan medis atau keselamatan, apa pun yang melibatkan pengembalian dana di atas ambang batas. Mulailah dari apa yang diotomatisasi dan apa yang dibantu.
2. Dasarkan setiap jawaban pada konten yang disetujui. Halaman Air Canada dan chatbot-nya saling bertentangan, dan maskapai membayar akibat celah itu. Pertahankan satu sumber kebenaran yang mutakhir, dan pastikan AI membaca darinya. Menyiapkan data dukungan untuk AI membahas caranya.
3. Biarkan AI berkata "Saya tidak tahu." Konfigurasikan agar mengalihkan ke manusia saat tidak ada sumber yang cocok, bukan berimprovisasi. Penolakan hanya memakan beberapa menit. Kebijakan karangan bisa jauh lebih mahal.
4. Batasi apa yang bisa dilakukannya. Untuk apa pun yang memindahkan uang atau membuat komitmen, tetapkan batas, wajibkan persetujuan manusia di atas batas itu, dan catat setiap tindakan beserta percakapan yang memicunya.
5. Sediakan jalan keluar yang terlihat. Pelanggan harus bisa menjangkau manusia tanpa berdebat dengan bot. Apa yang diharapkan pelanggan dari layanan AI menjelaskan mengapa ini penting di luar soal kepatuhan.
6. Uji sebelum dan sesudah setiap perubahan. Susun kumpulan 50 hingga 100 pertanyaan nyata, termasuk yang bersifat adversarial (hinaan, upaya jailbreak, kasus tepi dari keluhan sebelumnya). Jalankan setiap kali model, prompt, atau basis pengetahuan berubah. Insiden DPD terjadi setelah pembaruan sistem.
7. Tinjau percakapan, bukan hanya metrik. Ambil sampel percakapan AI setiap minggu dan nilai. Jaminan kualitas (QA) AI untuk dukungan membahas cara meninjau percakapan dukungan. Padukan dengan ukuran penyelesaian yang jujur agar jawaban salah tidak dihitung sebagai keberhasilan.
8. Tulis rencana insiden sebelum Anda membutuhkannya. Tentukan siapa yang dapat mematikan AI, siapa yang berbicara dengan pelanggan, siapa yang menerbitkan koreksi, dan bagaimana pengembalian dana ditangani. Cursor dan DPD sama-sama bertindak cepat, dan kecepatan adalah sebagian besar pemulihan mereka.

Jika Anda meluncurkan ini untuk pertama kalinya, masukkan semuanya ke dalam rencana peluncuran Anda, jangan menambahkannya belakangan. Panduan implementasi menunjukkan di mana masing-masing cocok.

Jebakan yang Perlu Dihindari

Mengandalkan disclaimer. Satu kalimat yang menyatakan bot "terkadang dapat menghasilkan" konten yang salah, seperti di halaman bot NYC, tidak menghentikan kritik dan tidak akan menolong Air Canada. Disclaimer bukanlah kontrol.

Mengira halaman yang akurat melindungi Anda. Tribunal dalam kasus Air Canada tidak menerima bahwa halaman web yang benar membebaskan chatbot yang salah. Dokumen dan bot Anda harus selaras, karena pelanggan akan memercayai mana pun yang mereka lihat lebih dulu.

Menguji sekali saja, saat peluncuran. Perilaku bergeser ketika model, prompt, dan konten berubah. Perlakukan pengujian sebagai pekerjaan berulang yang punya pemilik.

Memberi AI alat sebelum memberinya batasan. Lompatan dari menjawab ke bertindak adalah titik di mana kesalahan kecil menjadi mahal. Tambahkan tindakan satu per satu, masing-masing dengan batas dan log.

Menyembunyikan AI. Berpura-pura bahwa bot adalah manusia cenderung membuat setiap kesalahan terasa seperti penipuan. Masalah nada juga nyata: putuskan bagaimana bot menangani pelanggan yang frustrasi sebelum Anda memberinya kepribadian.

Memperlakukan risiko sebagai topik hukum semata. Tim hukum dapat menetapkan aturan, tetapi operasi dukungan melihat percakapannya. Kolom pemilik pada tabel di atas harus memiliki nama di samping setiap baris.

Cara Sederhana untuk Memulai

Jika ini terasa banyak, mulailah dengan tiga langkah bulan ini. Pertama, baca 30 percakapan AI terbaru dan tandai setiap pernyataan yang tidak didukung dokumen Anda sendiri. Kedua, tambahkan pengalihan wajib ke manusia untuk topik yang Anda daftar pada langkah pertama. Ketiga, tentukan siapa yang bisa mematikan AI pukul 2 dini hari. Ketiga langkah itu menjawab kegagalan di keempat kasus di atas, dan biayanya jauh lebih kecil daripada satu hari buruk yang dicegahnya.