Risiko Perkhidmatan Pelanggan AI: Jawapan Salah, Liabiliti dan Kerosakan Jenama

Risiko perkhidmatan pelanggan AI digambarkan melalui janji yang rapuh di atas tanggungjawab perniagaan

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Risiko perkhidmatan pelanggan AI ialah kemungkinan ejen AI memberikan maklumat yang salah, berbahaya atau tidak selaras dengan jenama kepada pelanggan, atau mengambil tindakan yang salah, dan syarikat anda perlu bertanggungjawab ke atasnya. Perkataan kuncinya ialah anda. Apabila bot bercakap di laman web anda, pelanggan dan, semakin lama semakin ramai, tribunal menganggap kata-katanya sebagai kata-kata anda.

Itulah pengajaran daripada kes yang paling terkenal setakat ini. Pada Februari 2024, sebuah tribunal Kanada memerintahkan Air Canada membayar seorang penumpang selepas chatbotnya memberikan maklumat tambang yang salah kepadanya. Jumlahnya kecil. Penaakulannya tidak. Panduan ini menelusuri kes itu dan tiga kes lain, mengumpulkan risiko ke dalam jadual yang boleh anda gunakan sebagai senarai semak, dan diakhiri dengan langkah perlindungan yang boleh diambil oleh pengurus sokongan tanpa menunggu pasukan perundangan. Ini gambaran keseluruhan yang praktikal, bukan nasihat undang-undang, jadi semak apa-apa yang khusus untuk pasaran anda dengan peguam. Untuk gambaran yang lebih luas tentang koleksi ini, lihat AI dalam perkhidmatan pelanggan.

Fakta Utama

  • Pada 14 Februari 2024, Civil Resolution Tribunal British Columbia memutuskan dalam Moffatt v. Air Canada bahawa syarikat penerbangan itu bertanggungjawab atas apa yang dikatakan chatbotnya kepada seorang pelanggan (Daily Hive).
  • Jumlah wangnya kecil: ganti rugi $650.88, faedah $36.14 dan yuran tribunal $125, kira-kira $812 secara keseluruhan. Nilai duluan kes itu jauh lebih besar daripada jumlah tersebut.
  • Tribunal menolak hujah bahawa bot itu entiti undang-undang yang berasingan, dan mendapati Air Canada tidak mengambil penjagaan munasabah untuk memastikan chatbotnya tepat (Manatt).
  • Bukan semua kegagalan bersifat undang-undang. Chatbot DPD mencarut dan mengkritik syarikat itu, dan tangkapan skrin ditonton lebih sejuta kali (Yahoo News).
  • Consumer Financial Protection Bureau Amerika Syarikat memberi amaran pada 2023 bahawa firma mungkin bertanggungjawab apabila chatbot gagal mematuhi undang-undang kewangan pengguna (CFPB).

Empat Jenis Kegagalan Sokongan AI

Kebanyakan insiden termasuk dalam salah satu daripada empat kategori, dan setiap satu memerlukan langkah perlindungan yang berbeza.

Empat cara sokongan AI boleh gagal digambarkan melalui empat objek kegagalan yang berbeza

  1. Jawapan salah. AI menyatakan dasar, harga atau peraturan yang tidak benar. Ini ialah masalah halusinasi, dan ia paling kerap berlaku.
  2. Tindakan salah. AI bukan sahaja bercakap, malah melakukan sesuatu: mengeluarkan bayaran balik, mengubah akaun, menjanjikan tarikh penghantaran. Ralat di sini memindahkan wang atau mewujudkan komitmen.
  3. Tingkah laku tidak selaras dengan jenama. AI mencarut, menghina, bergurau tentang tragedi atau mengkritik syarikat. Tiada fakta yang salah, tetapi kepercayaan terjejas.
  4. Pelanggan terperangkap. AI mengekalkan pelanggan dalam gelung tanpa laluan kepada seorang manusia, yang mengubah rasa jengkel menjadi aduan atau isu kawal selia.

Empat kes di bawah selari dengan kategori ini. Dari sudut ACE, kes pertama dan ketiga datang daripada Generate (model menghasilkan teks), manakala kes kedua menambah Execute (model bertindak ke atas sistem), iaitu tempat tadbir urus paling penting.

Kes 1: Air Canada dan Tambang Bela Sungkawa

Jake Moffatt bertanya kepada chatbot laman web Air Canada tentang tambang bela sungkawa selepas neneknya meninggal dunia. Chatbot itu memberitahunya bahawa dia boleh memohon tambang yang dikurangkan secara retroaktif, dalam tempoh 90 hari selepas membeli tiketnya. Kakitangan Air Canada kemudian memberitahunya bahawa permohonan retroaktif tidak dibenarkan, dan dasar di laman webnya sendiri menyatakan tambang bela sungkawa tidak meliputi perjalanan yang sudah dibuat (Fox Business). Dia menuntut bayaran balik separa sekitar $880.

Janji bot boleh menjadi liabiliti digambarkan melalui artifak janji dan dasar yang bercanggah

Pembelaan Air Canada ialah bahagian yang menarik. Syarikat itu berhujah bahawa ia tidak boleh dipertanggungjawabkan atas maklumat yang diberikan oleh chatbotnya, dan bahawa dasar yang tepat tersedia di tempat lain di laman webnya. Ahli tribunal Christopher Rivers menolak kedua-dua hujah itu. Tribunal mendapati Air Canada berhutang kewajipan menjaga kepada Moffatt, tidak mengambil penjagaan munasabah untuk memastikan chatbotnya tepat, dan telah melakukan salah nyata secara cuai (Manatt). Tribunal turut memutuskan bahawa chatbot itu sebahagian daripada laman web syarikat penerbangan tersebut, dan syarikat itu bertanggungjawab atas semua maklumat padanya, sama ada datang daripada halaman statik atau chatbot (Daily Hive). Kes ini dilaporkan sebagai Moffatt v. Air Canada, 2024 BCCRT 149.

Dua perkara perlu diingat supaya gambaran ini jujur. Ia keputusan tribunal tuntutan kecil di satu wilayah Kanada, jadi ia tidak mengikat mahkamah di tempat lain. Dan tuntutannya sempit: seorang pelanggan bergantung pada satu kenyataan salah yang khusus dan kehilangan wang. Walau bagaimanapun, mesej praktikalnya mudah diterapkan di mana-mana. "Bot yang cakap, bukan kami" dan "jawapan yang betul ada di halaman lain" tidak berjaya sebagai pembelaan di sini, dan anda patut menganggap ia tidak akan berjaya untuk anda juga.

Kes 2: DPD dan Chatbot yang Terkeluar daripada Skrip

Pada Januari 2024, seorang pelanggan DPD bernama Ashley Beauchamp mendorong chatbot syarikat penghantaran itu supaya mencarut dan berkata "DPD ialah firma penghantaran terburuk di dunia." Dia menyiarkan tangkapan skrin pada 18 Januari 2024, dan ia ditonton lebih sejuta kali. DPD berkata satu ralat berlaku selepas kemas kini sistem, bahawa "elemen AI dinyahaktifkan serta-merta," dan bahawa elemen itu telah berfungsi dengan jayanya selama beberapa tahun bersama perkhidmatan pelanggan manusia (Yahoo News).

Tiada sesiapa kehilangan wang di sini. Kerosakannya bersifat reputasi, dan pelanggan itu sengaja mendorong bot tersebut. Itulah intinya. Risiko jenama tidak memerlukan mangsa, hanya satu tangkapan skrin. Perhatikan juga apa yang mencetuskannya: kemas kini sistem yang rutin. Sebarang perubahan pada model, prompt atau tetapan boleh membatalkan tingkah laku yang anda uji bulan lalu.

Kes 3: Cursor dan Dasar yang Direka

Pada April 2025, pengguna alat pengekodan Cursor yang bertanya mengapa mereka dilog keluar pada beberapa mesin menerima e-mel daripada bot sokongan AI syarikat itu yang mengatakan ini ialah tingkah laku yang dijangkakan. Tiada dasar sedemikian. Pengasas bersama Michael Truell menulis di Reddit, "Hey! We have no such policy," menggelar balasan itu respons yang salah daripada bot sokongan AI barisan hadapan, dan memohon maaf. Cursor berkata respons AI yang digunakan untuk sokongan e-mel kini akan dilabelkan dengan jelas, dan pembangun yang membangkitkan isu itu telah dibayar balik (The Register).

Ini corak Air Canada dalam industri yang berbeza: peraturan yang direka, yakin dan khusus. AI itu tidak berkata "Saya tidak pasti." Ia mengisi ruang kosong dengan sesuatu yang kelihatan munasabah. Tindak balas syarikat itu juga wajar dikaji. Pembetulan awam yang pantas, bayaran balik dan label pada balasan AI ialah playbook yang munasabah untuk hari perkara itu berlaku kepada anda.

Kes 4: Chatbot MyCity New York dan Nasihat Haram

Pada Oktober 2023, New York City melancarkan chatbot AI di portal MyCity untuk membantu pemilik perniagaan memahami peraturan bandar. Pada Mac 2024, The Markup melaporkan bahawa bot itu kerap memberikan jawapan yang tidak lengkap atau salah. Ia berkata tuan tanah tidak perlu menerima baucar Section 8, bahawa penguncian penyewa adalah sah, bahawa restoran boleh beroperasi tanpa tunai walaupun undang-undang bandar 2020 mewajibkan penerimaan tunai, dan bahawa majikan boleh mengambil sebahagian daripada tip pekerja. Jawapannya juga berbeza-beza: ia memberitahu seorang wartawan bahawa tuan tanah mesti menerima baucar, dan memberitahu sepuluh kakitangan lain bahawa mereka tidak perlu. Jurucakap bandar menyifatkan bot itu sebagai projek perintis yang akan bertambah baik (The Markup).

Ini bukan meja bantuan syarikat, tetapi ia menunjukkan versi paling teruk bagi jawapan yang salah: nasihat yang, jika diikuti, melanggar undang-undang. Jika AI anda menjawab soalan tentang kontrak, undang-undang harga, keselamatan, kesihatan atau pekerjaan, anda berada dalam wilayah yang sama. Ketidakkonsistenan itu sendiri satu risiko, kerana soalan yang sama boleh mendapat jawapan berbeza pada hari yang berbeza.

Jadual Risiko: Risiko, Contoh, Langkah Perlindungan, Pemilik

Gunakan ini sebagai senarai semak permulaan. "Pemilik" bermaksud peranan yang sepatutnya boleh menjawab bagi risiko itu, bukan orang yang melakukan semua kerja.

Berikan setiap langkah perlindungan AI seorang pemilik digambarkan melalui pemutus yang dikawal manusia dan tindakan yang terhad

Risiko Contoh Langkah perlindungan Pemilik
Dasar atau harga yang direka Tuntutan tambang retroaktif Air Canada; peraturan log masuk Cursor Jawab hanya daripada sumber yang diluluskan; menolak apabila tiada sumber ditemui; labelkan balasan AI Ketua operasi sokongan
Nasihat undang-undang atau kawal selia yang salah Bot NYC tentang peraturan penyewa dan tip Sekat topik undang-undang, kesihatan dan keselamatan; serahkan kepada seorang manusia dengan mesej yang tetap Perundangan atau pematuhan
Output tidak selaras dengan jenama atau kesat Bot DPD mencarut Penapis output, peraturan nada, ujian regresi selepas setiap kemas kini Ketua operasi sokongan bersama pasukan jenama
Tindakan tanpa kebenaran Bot yang mengeluarkan bayaran balik atau janji yang tidak sepatutnya Had perbelanjaan, langkah kelulusan, log tindakan Ketua sokongan
Pelanggan terperangkap dalam gelung "Doom loop" yang diterangkan oleh CFPB Laluan kepada seorang manusia yang sentiasa kelihatan; eskalasi selepas kegagalan berulang Ketua operasi sokongan
Hanyutan senyap selepas perubahan Ralat DPD selepas kemas kini sistem Set ujian dijalankan sebelum dan selepas setiap perubahan model, prompt atau kandungan Ketua operasi sokongan
Privasi dan pendedahan data Data peribadi dalam log sembang Peraturan peminimuman dan pengekalan data, diliputi dalam privasi data pelanggan dalam sokongan AI Ketua keselamatan atau privasi
AI yang tidak didedahkan Pelanggan yang tidak tahu ia sebuah bot Pendedahan jelas pada permulaan perbualan Perundangan atau pematuhan

Dua baris terakhir mempunyai panduan tersendiri kerana peraturannya berbeza mengikut negara dan kerap berubah. Anggaplah artikel ini sebagai peta, dan panduan tersebut sebagai butirannya.

Mengapa Pengawal Selia Mengambil Berat

Anda tidak perlu menunggu tuntutan mahkamah untuk merasai tekanan. Laporan CFPB pada Jun 2023 tentang chatbot dalam kewangan pengguna menyatakan chatbot dijangka mematuhi semua undang-undang kewangan pengguna persekutuan yang berkaitan, dan firma mungkin bertanggungjawab apabila tidak berbuat demikian. Laporan itu menyenaraikan maklumat tidak tepat, kegagalan mengenali pertikaian, "doom loop" tanpa laluan kepada manusia, dan risiko privasi antara kebimbangannya. Laporan itu menyatakan ia tidak mengenakan obligasi baharu (CFPB). Perhatikan bahawa ini merujuk kepada perkhidmatan kewangan di Amerika Syarikat. Jika anda beroperasi di tempat lain atau dalam industri lain, butirannya berbeza, tetapi arahnya sama: saluran tidak mengubah kewajipan.

Cara Mengurangkan Risiko: Lapan Langkah

  1. Tentukan apa yang tidak boleh dilakukan oleh AI. Tulis senarai ringkas topik dan tindakan yang dilarang: nasihat undang-undang, panduan perubatan atau keselamatan, apa-apa yang melibatkan bayaran balik melebihi had tertentu. Mulakan daripada apa yang perlu diautomasikan dan apa yang perlu dibantu.
  2. Dasarkan setiap jawapan pada kandungan yang diluluskan. Halaman Air Canada dan chatbot tidak sependapat, dan syarikat penerbangan itu membayar untuk jurang tersebut. Kekalkan satu sumber rujukan tunggal yang terkini, dan pastikan AI membaca daripadanya. Menyediakan data sokongan untuk AI menerangkan caranya.
  3. Benarkan AI berkata "Saya tidak tahu." Konfigurasikannya supaya menyerahkan kepada manusia apabila tiada sumber sepadan, dan bukan berimprovisasi. Penolakan hanya memakan beberapa minit. Dasar yang direka boleh menelan kos yang jauh lebih besar.
  4. Hadkan apa yang boleh dilakukannya. Bagi apa-apa yang memindahkan wang atau membuat komitmen, tetapkan had, wajibkan kelulusan manusia melebihi had itu, dan log setiap tindakan bersama perbualan yang mencetuskannya.
  5. Kekalkan jalan keluar yang kelihatan. Pelanggan sepatutnya boleh menghubungi seorang manusia tanpa perlu berbalah dengan bot. Apa yang pelanggan jangkakan daripada perkhidmatan AI menerangkan mengapa perkara ini penting melangkaui pematuhan.
  6. Uji sebelum dan selepas setiap perubahan. Bina set 50 hingga 100 soalan sebenar, termasuk yang bersifat adversarial (hinaan, percubaan jailbreak, kes pinggir daripada aduan lepas). Jalankannya setiap kali model, prompt atau pangkalan pengetahuan berubah. Insiden DPD berlaku selepas kemas kini sistem.
  7. Semak perbualan, bukan sekadar metrik. Ambil sampel perbualan AI setiap minggu dan nilaikannya. Jaminan kualiti AI untuk sokongan menerangkan cara menyemak perbualan sokongan. Gandingkan dengan ukuran penyelesaian yang jujur supaya jawapan salah tidak dikira sebagai kejayaan.
  8. Tulis pelan insiden sebelum anda memerlukannya. Namakan siapa yang boleh mematikan AI, siapa yang bercakap dengan pelanggan, siapa yang menyiarkan pembetulan, dan cara bayaran balik dikendalikan. Cursor dan DPD kedua-duanya bertindak pantas, dan kepantasan ialah sebahagian besar pemulihan mereka.

Jika anda melancarkan ini buat kali pertama, masukkan langkah-langkah ini ke dalam pelan pelancaran anda dan jangan menambahnya kemudian. Panduan pelaksanaan menunjukkan di mana setiap satu sesuai.

Perangkap yang Perlu Dielakkan

Bergantung pada penafian. Satu baris yang menyatakan bot "mungkin kadangkala menghasilkan" kandungan yang salah, seperti pada halaman bot NYC, tidak menghentikan kritikan dan tidak akan membantu Air Canada. Penafian bukan kawalan.

Menganggap halaman yang tepat melindungi anda. Tribunal dalam kes Air Canada tidak menerima bahawa halaman web yang betul memaafkan chatbot yang salah. Dokumen dan bot anda mesti sependapat, kerana pelanggan akan mempercayai mana-mana yang mereka lihat dahulu.

Menguji sekali sahaja, semasa pelancaran. Tingkah laku berubah apabila model, prompt dan kandungan berubah. Anggap pengujian sebagai tugas berulang dengan seorang pemilik.

Memberikan alat kepada AI sebelum memberinya had. Peralihan daripada menjawab kepada bertindak ialah tempat ralat kecil menjadi mahal. Tambah tindakan satu demi satu, masing-masing dengan had dan log.

Menyembunyikan AI. Berpura-pura bot itu manusia cenderung menjadikan setiap ralat terasa seperti penipuan. Masalah nada juga nyata: tentukan bagaimana bot mengendalikan pelanggan yang marah sebelum anda memberinya personaliti.

Menganggap risiko sebagai topik undang-undang semata-mata. Pasukan perundangan boleh menetapkan peraturan, tetapi operasi sokongan melihat perbualan itu. Lajur pemilik dalam jadual di atas sepatutnya mempunyai nama di sebelah setiap baris.

Cara Mudah untuk Bermula

Jika ini terasa terlalu banyak, mulakan dengan tiga langkah bulan ini. Pertama, baca 30 perbualan AI terkini dan tandakan setiap pernyataan yang tidak disokong oleh dokumen anda sendiri. Kedua, tambah penyerahan tegas kepada manusia bagi topik yang anda senaraikan dalam langkah pertama. Ketiga, namakan orang yang boleh mematikan AI pada pukul 2 pagi. Ketiga-tiga langkah itu menangani kegagalan dalam keempat-empat kes di atas, dan kosnya jauh lebih rendah daripada satu hari buruk yang dihindari.

About the author

Linh Ngo

Linh Ngo

Customer Success Operations Manager

Linh Ngo is Customer Success Operations Manager at Rework, focused on AI-led process automation for operations teams, especially order fulfillment and finance workflows. Linh writes about process management and the AI productivity tools that take manual steps out of daily operations, so teams can see where work stalls and fix the process before adding headcount.