Sinyal Dukungan yang Memprediksi Churn: Memakai AI untuk Menandai Pelanggan Berisiko

Sinyal dukungan yang memprediksi churn: jangkar akun yang tertekan.

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Sinyal churn dari dukungan adalah pola dalam tiket, chat, dan panggilan pelanggan (kontak berulang, nada yang memburuk, bug yang tetap terbuka, eskalasi, upaya yang makin besar) yang cenderung muncul sebelum pelanggan membatalkan atau tidak memperpanjang langganan. AI mengubah pola-pola yang tersebar itu menjadi satu flag tingkat akun, dan flag tersebut diteruskan kepada customer success manager (CSM) yang memegang hubungan dengan pelanggan.

Dukungan melihat hal-hal yang tidak dilihat bagian lain perusahaan. Pelanggan yang berhenti login itu sunyi. Pelanggan yang menulis empat kali dalam sebulan, setiap kali sedikit lebih singkat dan sedikit lebih tajam, itu nyaring. Masalahnya, tidak ada yang dibayar untuk menjumlahkan pesan-pesan itu. Dukungan menutup tiket, customer success melihat dashboard penggunaan, dan akun itu pergi dengan peringatan yang tersimpan di help desk yang tidak dibuka siapa pun di sisi CS.

Panduan ini membahas sinyal dukungan mana yang layak dilacak, cara AI menggabungkannya, cara menyerahkan flag kepada orang yang dapat bertindak, dan cara memeriksa bahwa modelnya berfungsi. Jika Anda ingin gambaran lebih luas tentang bertindak sebelum pelanggan mengeluh, mulailah dari layanan pelanggan proaktif dengan AI.

Fakta Utama

  • Peneliti IBM melatih model eskalasi tiket pada lebih dari 2,5 juta tiket dukungan dan sekitar 10.000 eskalasi, dan melaporkan recall 87,36% dengan pengurangan beban kerja analis sebesar 88,23% (Montgomery et al., arXiv). Model itu memprediksi eskalasi, bukan churn, tetapi menunjukkan bahwa riwayat tiket adalah bahan mentah yang kuat untuk model risiko.
  • Fitur dalam karya IBM itu mencakup peningkatan tingkat keparahan, jumlah hari sejak kontak terakhir, dan waktu respons pelanggan saat ini dibandingkan dengan yang secara historis mereka terima (Montgomery et al., makalah lengkap). Membandingkan pelanggan dengan baseline-nya sendiri adalah gagasan kuncinya.
  • Integrasi Zendesk dari Gainsight memungkinkan admin menarik data tiket ke Gainsight dan "memicu skor kesehatan berdasarkan data dukungan" (Gainsight Marketplace). Itu kemampuan yang dideskripsikan vendor, bukan hasil yang terukur.
  • Listing yang sama menjelaskan pembuatan dan penautan Call to Action (CTA) ke tiket Zendesk dari dalam help desk, yang merupakan mekanisme serah terima yang dibahas di bawah.
  • Presisi adalah porsi akun yang ditandai dan benar-benar berisiko, sedangkan recall adalah porsi akun berisiko yang berhasil ditangkap model (dokumentasi scikit-learn). Anda membutuhkan kedua angka itu untuk menilai flag churn.
  • Cross-validation acak biasa menghasilkan skor yang membengkak pada data berurutan waktu, jadi model churn harus diuji pada periode yang lebih baru daripada periode pelatihannya (dokumentasi scikit-learn).

Mengapa Data Dukungan Memprediksi Churn

Penggunaan produk memberi tahu Anda apa yang dilakukan pelanggan. Dukungan memberi tahu Anda bagaimana perasaan mereka tentang itu, dengan kata-kata mereka sendiri, pada saat ada yang salah. Itu menjadikannya sinyal yang luar biasa langsung, dan tersedia sejak hari pertama, sebelum Anda memiliki riwayat penggunaan berbulan-bulan.

Tiga hal membuat data dukungan berbeda dari skor penggunaan:

  • Berupa teks. Sebagian besar informasi ada dalam apa yang ditulis pelanggan, bukan dalam sebuah kolom. Membacanya dalam skala besar persis hal yang dikerjakan model bahasa dengan baik.
  • Digerakkan oleh peristiwa. Skor kesehatan yang diperbarui bulanan melewatkan minggu ketika tiga hal rusak. Tiket datang saat kejadian berlangsung.
  • Menunjukkan pengalaman seluruh akun. Satu pengguna yang marah adalah insiden. Lima pengguna di satu perusahaan yang mengangkat masalah dalam dua minggu yang sama adalah pola.

Semua ini tidak berarti tiket adalah vonis. Banyak pelanggan yang mengajukan banyak tiket justru pengguna aktif yang intensif dan memperpanjang dengan senang hati. Tujuannya bukan menganggap kontak itu buruk. Tujuannya adalah menemukan perubahan pada pola sebuah akun, itulah sebabnya pendekatan di bawah terus membandingkan setiap pelanggan dengan riwayatnya sendiri.

Lima Keluarga Sinyal

Sebagian besar sinyal churn yang berguna dari dukungan masuk ke dalam lima keluarga. Masing-masing murah dihitung setelah data dukungan Anda siap untuk AI.

Lima sinyal dukungan dari risiko churn: lima indikator risiko.

Keluarga sinyal Bentuknya Mengapa penting Jebakan umum
Kontak berulang Masalah yang sama diangkat lagi dalam beberapa hari, atau pelanggan membuka kembali tiket yang sudah ditutup Perbaikan pertama tidak berhasil, dan pelanggan mengeluarkan upaya dua kali Menghitung seluruh volume, bukan pengulangan pada masalah yang sama
Sentimen negatif Nada memburuk sepanjang satu percakapan atau lintas tiket selama beberapa minggu Rasa frustrasi biasanya menumpuk sebelum pembatalan Menganggap satu pesan tajam sebagai tren
Bug yang belum selesai Cacat yang memengaruhi akun tetap terbuka melewati ekspektasi pelanggan Pelanggan membayar untuk sesuatu yang tidak berfungsi Mengabaikan bug yang ada di tim engineering, bukan di dukungan
Eskalasi Tingkat keparahan dinaikkan, manajer diminta, sponsor eksekutif disertakan dalam salinan Pelanggan menerapkan tekanan maksimum Melewatkan eskalasi senyap yang terjadi lewat email di luar help desk
Upaya Banyak pesan bolak-balik, banyak serah terima, menunggu lama untuk balasan pertama Sulitnya mendapat bantuan mengikis niat baik Hanya mengukur waktu penyelesaian dan bukan jumlah langkahnya

Kontak berulang

Kontak berulang adalah sinyal sederhana yang paling kuat karena berarti proses dukungan sudah gagal satu kali. Definisikan dengan cermat: pelanggan yang sama, masalah dasar yang sama, dalam jendela yang Anda pilih (tujuh hari adalah titik awal yang lazim). Itu memerlukan pengelompokan tiket menurut topik, dan deteksi intent pelanggan adalah alat untuk itu, karena pelanggan menggambarkan satu masalah dengan banyak kata yang berbeda.

Sentimen negatif

Sentimen hanya berguna sebagai lintasan. Pelanggan yang selalu berterus terang tidak boleh ditandai hanya karena terus terang. Pelanggan yang ramah pada Januari dan ketus pada Maret perlu ditandai. Jika Anda sudah menjalankan CSAT prediksi, skor per percakapannya adalah masukan siap pakai di sini. Untuk pekerjaan risiko, simpan skor per pesan, lalu lacak perubahannya pada jendela bergulir untuk setiap akun.

Bug yang belum selesai

Inilah yang paling sering terlewat oleh tim, karena tiketnya tidak "terbuka" di antrean dukungan: tiket itu sudah diserahkan ke engineering dan tampil sebagai tertunda. Dari sisi pelanggan, tidak ada yang berubah. Tautkan tiket ke catatan bug, dan ukur berapa lama setiap akun terdampak sudah menunggu. Tautan yang sama memungkinkan tim produk melihat cacat mana yang paling mahal, seperti dibahas dalam mengubah tiket dukungan menjadi item backlog produk.

Eskalasi

Eskalasi adalah cara pelanggan memberi tahu Anda seberapa serius masalahnya. Riset eskalasi IBM adalah rujukan yang berguna di sini: fiturnya mencakup peningkatan tingkat keparahan dan perbandingan waktu respons khusus pelanggan (Montgomery et al.). Anda bisa meminjam pemikirannya tanpa menyalin modelnya. Lacak perubahan tingkat keparahan, permintaan untuk berbicara dengan manajer, dan munculnya nama senior baru dalam utas.

Upaya

Upaya paling sulit terlihat dan sering paling menunjukkan. Hitung jumlah pesan yang dibutuhkan untuk menyelesaikan, jumlah agen berbeda yang terlibat, jumlah perpindahan kanal (chat ke email ke telepon), dan jeda antara pesan pelanggan dan balasan pertama yang berguna. Tiket yang selesai dengan sembilan pesan dan tiga agen adalah pengalaman yang berbeda dari tiket yang selesai dengan dua pesan.

Cara AI Menggabungkan Sinyal

Satu sinyal saja berisik. Nilainya datang dari menggabungkannya, dan dari membandingkan setiap akun dengan kondisi normalnya sendiri.

Pipeline-nya terdiri dari empat langkah, sesuai dengan kapabilitas ingest, analyze, predict, dan execute dalam ACE Framework:

  1. Ingest. Tarik tiket, transkrip chat, transkrip panggilan, tautan bug, dan respons CSAT ke dalam satu tampilan tingkat akun, dengan kunci akun pelanggan, bukan pengguna individual.
  2. Analyze. Model bahasa memberi label pada setiap percakapan: topik, sentimen, apakah masalah terselesaikan, apakah pelanggan menyebut pergi, pesaing, atau ketentuan kontrak. Ringkasan tiket untuk setiap akun selama 30 hari terakhir menjaga keluarannya tetap mudah dibaca manusia.
  3. Predict. Model penilaian mengambil label tersebut ditambah fakta terstruktur (paket, masa langganan, tanggal perpanjangan, tren penggunaan) dan menghasilkan skor risiko per akun. Ini bisa berupa regresi logistik sederhana atau model gradient-boosted. Model yang lebih rumit jarang mengalahkan model sederhana yang dibangun dengan baik ketika Anda hanya memiliki beberapa ratus contoh churn.
  4. Execute. Akun yang melewati ambang batas membuat tugas untuk pemiliknya. Itulah serah terima yang dibahas di bagian berikutnya.

Dua pilihan desain menentukan apakah ini berhasil.

Bandingkan dengan baseline akun itu sendiri. Fitur waktu respons dari tim IBM dibangun dengan cara ini: membandingkan apa yang diterima pelanggan sekarang dengan apa yang secara historis mereka terima (Montgomery et al.). Terapkan gagasan yang sama pada volume, sentimen, dan upaya. "Jumlah tiket 3x median akun ini" jauh lebih baik sebagai fitur daripada "jumlah tiket adalah 12."

Pisahkan alasan dari skor. Angka telanjang seperti "risiko 0,82" akan diabaikan. Buat model mengembalikan dua atau tiga sinyal penyumbang teratas dengan kata-kata biasa. Alasan-alasan itulah yang dibaca CSM.

Untuk sisi pemodelan di luar data dukungan, model prediksi churn membahas algoritma dan data pelatihan lebih dalam. Sinyal dukungan paling baik dipakai sebagai salah satu masukan ke dalam skor kesehatan yang lebih luas, bukan sebagai pengganti data penggunaan dan data komersial.

Contoh Perhitungan (Hipotetis)

Contoh ini bersifat ilustratif. Angkanya dibuat-buat untuk menunjukkan logikanya.

Sebuah akun perangkat lunak segmen menengah biasanya membuka satu tiket sebulan. Dalam tiga minggu terakhir, akun itu membuka lima. Dua di antaranya tentang kegagalan ekspor yang sama, satu dibuka kembali, dan bug yang tertaut sudah terbuka selama 19 hari. Nada pesan turun dari netral menjadi ketus pada tiga tiket terakhir. Yang terbaru menyebut "mengevaluasi opsi lain."

Tidak ada satu pun item yang mengkhawatirkan. Bersama-sama, dibandingkan dengan akun yang biasanya tenang, semuanya mengkhawatirkan. Model menandai akun itu dan menulis: "Volume dukungan 5x normal. Masalah ekspor yang sama diangkat dua kali, bug terbuka 19 hari. Sentimen menurun. Pelanggan menyebut sedang mengevaluasi alternatif." CSM dapat bertindak atas hal itu dalam satu menit.

Menyerahkan Flag kepada CSM

Di sinilah sebagian besar program gagal. Flag yang tidak ditindaklanjuti siapa pun hanyalah dashboard. Serah terimanya perlu dirancang secermat modelnya.

Berikan paket bukti milik CSM: tas bukti untuk serah terima.

Taruh flag di tempat CSM sudah bekerja. Jika CSM bekerja di CRM atau platform customer success, buat tugas di sana, bukan dalam laporan yang harus mereka buka. Integrasinya ada: listing Zendesk dari Gainsight, misalnya, menjelaskan penautan CTA ke tiket Zendesk dari dalam help desk (Gainsight Marketplace).

Kirim paket, bukan peringatan. Setiap flag harus menjawab lima pertanyaan tanpa CSM membuka apa pun lagi:

Pertanyaan Isi yang seharusnya ada pada flag
Siapa? Akun, pemilik, paket, tanggal perpanjangan
Apa yang terjadi? Ringkasan dua baris tentang dukungan selama 30 hari terakhir
Mengapa ditandai? Sinyal penyumbang teratas dengan kata-kata biasa
Apa yang masih terbuka? Tiket dan bug tertaut yang belum selesai, beserta usianya
Apa yang harus saya lakukan? Saran langkah pertama, seperti panggilan, catatan dari eksekutif, atau pembaruan status bug

Tetapkan kepemilikan dan waktu respons. Putuskan siapa yang memegang setiap flag dan seberapa cepat mereka merespons. Tanpa itu, dukungan mengira CS yang menangani, dan CS mengira dukungan yang menangani.

Tutup lingkarannya. Ketika CSM bertindak, mereka mencatat hasilnya (terselamatkan, alarm palsu, sudah akan churn, pelanggan pulih). Umpan balik itu adalah data pelatihan untuk versi model berikutnya, dan satu-satunya cara Anda akan mengetahui nilai flag tersebut.

Jangan membanjiri mereka. Jika CSM menerima 40 flag seminggu, mereka akan berhenti membaca pada minggu ketiga. Tetapkan ambang batas agar menghasilkan jumlah flag yang benar-benar bisa dikerjakan tim, dan tinjau setiap bulan. Lebih baik menangkap 60% akun berisiko dengan flag yang dipercaya orang daripada 90% dengan flag yang diabaikan orang.

Tidak setiap flag menjadi milik CSM. Flag yang disebabkan oleh cacat yang berulang adalah masalah produk. Arahkan ke tim produk beserta buktinya, dan lacak penyebab mana yang terus muncul.

Cara Memvalidasi Model

Flag churn yang tampak masuk akal dalam demo masih bisa salah dalam praktik. Validasi menjawab satu pertanyaan: apakah akun yang ditandai model benar-benar churn lebih banyak daripada akun yang tidak ditandai?

Uji model churn pada periode yang lebih baru: rak arsip yang dipisahkan menurut waktu.

Langkah 1: Definisikan churn dan jendela prediksi

Putuskan apa yang dihitung: pembatalan, tidak memperpanjang, atau penurunan paket yang besar. Lalu putuskan jendelanya, misalnya "apakah akun ini akan churn dalam 90 hari setelah flag?" Model tanpa jendela yang dinyatakan tidak bisa diuji.

Langkah 2: Bangun dataset dari masa lalu

Untuk setiap akun pada setiap tanggal di masa lalu, catat sinyal dukungan sebagaimana kondisinya saat itu dan apakah akun tersebut churn dalam jendela sesudahnya. Bersikaplah ketat soal ini: jika sebuah fitur memuat informasi dari setelah tanggal flag, modelnya berbuat curang. Kebocoran klasik adalah kolom yang diisi saat pelanggan membatalkan, seperti tag "alasan pembatalan" pada tiket terakhir.

Langkah 3: Bagi menurut waktu, bukan secara acak

Latih pada periode yang lebih awal dan uji pada periode yang lebih baru. Cross-validation acak standar mengasumsikan sampel saling independen, dan pada data berurutan waktu hasilnya adalah skor yang membengkak karena sampel uji berada dekat dalam waktu dengan sampel pelatihan (dokumentasi scikit-learn). Pembagian berbasis waktu meniru penggunaan nyata: model belajar dari masa lalu dan dinilai pada masa depan yang belum pernah dilihatnya.

Langkah 4: Ukur hal yang tepat

Metrik Arti sederhananya Yang perlu diperhatikan
Presisi Dari akun yang kami tandai, berapa banyak yang benar-benar berisiko? Presisi rendah berarti CSM membuang waktu dan berhenti mempercayai flag
Recall Dari akun yang churn, berapa banyak yang kami tandai? Recall rendah berarti model melewatkan sebagian besar masalah
Lift Seberapa lebih mungkin akun yang ditandai untuk churn dibandingkan rata-rata? Lift mendekati 1 berarti flag tidak menambah apa pun
Lead time Berapa hari sebelum churn flag itu aktif? Flag yang aktif seminggu sebelum pembatalan terlalu terlambat untuk membantu

Presisi adalah porsi akun yang ditandai yang benar-benar positif, dan recall adalah porsi seluruh akun positif yang ditemukan model (dokumentasi scikit-learn). Keduanya saling tarik-menarik. Menaikkan ambang batas memberi Anda flag yang lebih sedikit dan lebih andal, tetapi lebih banyak pelanggan churn yang terlewat. Pilih keseimbangannya berdasarkan berapa banyak flag yang dapat dikerjakan CSM Anda.

Langkah 5: Bandingkan dengan baseline sederhana

Periksa model terhadap sesuatu yang membosankan: "tandai akun mana pun dengan tiga tiket atau lebih dalam 30 hari," atau skor kesehatan Anda yang sudah ada. Jika model AI hanya sedikit mengungguli aturan sederhana, pakai aturannya. Jika model menambahkan sinyal dukungan ke skor kesehatan yang ada dan itu memperbaiki lift, itulah bukti yang Anda butuhkan untuk mempertahankannya.

Langkah 6: Uji di lapangan, lalu terus periksa

Jalankan dalam mode bayangan selama satu siklus perpanjangan, menandai akun tanpa mengubah cara kerja CSM, lalu bandingkan akun yang ditandai dengan sisanya. Setelah peluncuran, awasi drift model. Rilis produk baru, perubahan harga, atau tim dukungan baru semuanya dapat mengubah makna "normal". Periksa ulang presisi dan recall setiap kuartal, dan gunakan catatan hasil dari CSM untuk menemukan alarm palsu.

Berhati-hatilah dengan klaim sebab-akibat. Flag menunjukkan siapa yang kemungkinan pergi. Flag tidak menunjukkan bahwa intervensi Anda yang menyelamatkan mereka. Untuk mengukur efek penjangkauan, tahan sebagian acak akun yang ditandai selama beberapa waktu dan bandingkan hasilnya, jika bisnis Anda dapat menerimanya.

Daftar Periksa Penerapan

  1. Pilih satu definisi churn dan satu jendela. Jangan mulai dengan tiga.
  2. Hubungkan dukungan ke catatan akun. Tiket harus terakumulasi ke akun, bukan hanya ke pengguna.
  3. Mulai dengan lima keluarga sinyal. Tambahkan lainnya hanya ketika terbukti layak.
  4. Hitung sinyal terhadap baseline setiap akun sendiri.
  5. Bangun aturan baseline terlebih dahulu, baru coba model.
  6. Kembalikan alasan bersama setiap skor.
  7. Buat tugas di alat milik CSM, dengan pemilik dan waktu respons.
  8. Catat hasil pada setiap flag.
  9. Validasi dengan pembagian waktu dan laporkan presisi, recall, lift, dan lead time.
  10. Tinjau setiap kuartal dan pensiunkan sinyal yang berhenti membantu.

Kesalahan Umum

Menganggap semua kontak itu buruk. Pengguna intensif mengajukan lebih banyak tiket. Carilah perubahan dari baseline akun, bukan jumlah mentah.

Menilai pengguna, bukan akun. Churn biasanya keputusan tingkat akun. Satu minggu buruk milik satu orang bukanlah risiko akun.

Membocorkan jawabannya. Fitur yang dibuat setelah keputusan pembatalan membuat model tampak brilian dalam pengujian dan tak berguna dalam produksi.

Kelelahan alarm. Terlalu banyak flag dan tim berhenti membaca. Sesuaikan ambang batas dengan kapasitas.

Flag tanpa play. Jika tidak ada yang tahu apa yang harus dilakukan saat flag muncul, model tidak bernilai. Tulis playbook-nya terlebih dahulu.

Mengabaikan bug milik engineering. Tiket yang menunggu engineering adalah tempat pelanggan menunggu paling lama. Sertakan itu.

Menghukum pelanggan. Flag risiko untuk membantu, bukan untuk menahan layanan. Jangan mengarahkan pelanggan yang ditandai ke antrean yang lebih lambat atau memakai skor itu untuk menolak permintaan yang wajar.

Melupakan privasi. Teks tiket memuat data pribadi. Periksa apa yang diizinkan ketentuan pemrosesan data Anda sebelum mengirim transkrip ke model, dan batasi apa yang diperlihatkan flag kepada CSM.

Pertanyaan yang Sering Diajukan tentang Sinyal Dukungan dan Churn

Sinyal dukungan mana yang paling baik memprediksi churn?

Ada lima keluarga yang layak dijadikan titik awal: kontak berulang pada masalah yang sama, sentimen yang memburuk seiring waktu, bug yang tetap belum selesai, eskalasi, dan upaya pelanggan yang tinggi. Masing-masing lebih berguna jika diukur terhadap pola normal akun itu sendiri daripada sebagai hitungan mentah.

Bisakah AI benar-benar memprediksi churn hanya dari tiket dukungan?

Data dukungan adalah bahan mentah yang kuat, tetapi paling baik bila digabungkan dengan data penggunaan, kontrak, dan perpanjangan. Riset IBM yang diterbitkan tentang eskalasi tiket menunjukkan seberapa banyak yang dapat diungkap riwayat tiket, meskipun studi itu memprediksi eskalasi, bukan churn.

Bagaimana kami sebaiknya menyerahkan flag akun berisiko kepada CSM?

Buat tugas di alat yang sudah dipakai CSM, berisi akun, ringkasan singkat, alasan teratas flag, tiket dan bug yang masih terbuka, serta saran tindakan pertama. Tetapkan pemilik dan waktu respons, dan minta CSM mencatat hasilnya agar model dapat belajar.

Bagaimana kami tahu model churn itu akurat?

Latih pada periode lampau dan uji pada periode yang lebih baru, lalu laporkan presisi, recall, lift, dan lead time terhadap aturan baseline sederhana. Pembagian acak yang diacak menghasilkan hasil yang membengkak pada data berurutan waktu, jadi hindarilah. Periksa ulang setiap kuartal karena produk dan kebijakan mengubah makna normal.

Berapa banyak tiket yang sebaiknya memicu flag churn?

Tidak ada angka yang berlaku universal. Pemicu yang lebih baik adalah lonjakan dibandingkan volume biasa akun itu, dikombinasikan dengan sinyal lain seperti pengulangan, nada, dan bug yang masih terbuka. Tetapkan ambang batas agar CSM Anda menerima jumlah flag yang realistis untuk dikerjakan setiap minggu.

Apakah adil menilai pelanggan berdasarkan perilaku dukungan mereka?

Itu wajar selama skor dipakai untuk menawarkan bantuan lebih cepat, bukan untuk membatasi layanan. Lindungi datanya, jelaskan dalam pemberitahuan privasi Anda bagaimana data dukungan dipakai, dan jangan pernah memakai skor risiko untuk menolak atau memperlambat permintaan yang sah.

About the author

Linh Ngo

Linh Ngo

Customer Success Operations Manager

Linh Ngo is Customer Success Operations Manager at Rework, focused on AI-led process automation for operations teams, especially order fulfillment and finance workflows. Linh writes about process management and the AI productivity tools that take manual steps out of daily operations, so teams can see where work stalls and fix the process before adding headcount.