Mengomunikasikan Hasil kepada Pemangku Kepentingan Non-ML: Bagaimana DS IC Berhenti Mengubur Inti Pesan

Terakhir kali saya duduk dalam presentasi Data Scientist kepada seorang CFO, slide pertamanya adalah confusion matrix. CFO itu bertanya dengan sopan, apa yang sedang ia lihat. Dua belas menit kemudian, ia masih belum tahu apa yang harus dilakukan pada hari Senin. Modelnya bagus. Presentasinya adalah bencana kecil.

Ini adalah pola mengubur inti pesan, dan ini membunuh lebih banyak pekerjaan DS daripada kode yang buruk. Anda menghabiskan enam minggu untuk model churn. Eksekutif mendapat delapan menit dalam agenda. Jika slide pertama Anda tidak menjawab pertanyaan yang mereka datangkan, pertemuan berakhir dengan "mari kita kembali lagi nanti" yang sopan, dan model Anda masuk ke laci bersama yang lain.

Panduan ini adalah kerangka kerja yang saya gunakan, dan yang saya terapkan kepada DS IC junior di tim saya. Ini bukan tentang menyederhanakan. Ini tentang menghormati bahwa tugas eksekutif adalah memutuskan, bukan mempelajari ML. Slide Anda membantu mereka memutuskan atau tidak.

Inti pesan "apa yang berubah?"

Setiap presentasi eksekutif menjawab satu pertanyaan pertama: apa yang berbeda sekarang dibandingkan kuartal lalu?

Bukan "begini cara kami membangun model." Bukan "kurva ROC terlihat bagus." Apa yang berubah dalam bisnis, dan apa yang harus kita lakukan.

Inti pesan adalah kalimat pertama yang didengar atau dibaca eksekutif. Jika Anda harus menggulir untuk menemukannya, Anda sudah kalah. Bandingkan dua pembuka ini untuk analisis churn yang sama:

Dikubur: "Kami melatih model gradient-boosted pada 18 bulan telemetri akun, mencapai AUC 0,87 dengan validasi silang 5-fold. Tingkat penting fitur menunjukkan kecepatan tiket dukungan adalah sinyal terkuat."

Jelas: "$4,2 juta ARR berisiko churn tinggi di Q2, naik dari $2,8 juta kuartal lalu. Peningkatan terkonsentrasi pada 12 akun di atas $100 ribu. Kita perlu memutuskan hari ini 5 mana yang akan dihubungi tim CSM minggu ini."

Model yang sama. Data yang sama. Yang kedua memulai rapat. Yang pertama mengakhirinya.

Jika Anda tidak bisa menulis kalimat "apa yang berubah" dalam 30 detik, pekerjaan belum siap dipresentasikan. Kembali ke laptop Anda. Presentasi tidak bisa memperbaiki tesis yang belum Anda beri nama.

Latihan berguna: sebelum Anda membangun satu slide pun, tulis baris subjek email yang akan Anda kirim jika eksekutif bertanya "apa yang Anda temukan?" Jika baris subjeknya adalah "pembaruan analisis churn Q2," itu laporan status, bukan temuan. Jika "ARR $4,2 juta terekspos di 47 akun; rekomendasikan kita bergerak sekarang pada 12 teratas," itu temuan. Bangun deck di sekitar baris subjek.

Jawaban 1 slide

Asumsikan rapat dipotong menjadi 90 detik. Ini terjadi lebih sering dari yang Anda pikirkan. CRO ditarik ke panggilan pelanggan. CFO memiliki persiapan board pukul 2 siang. Anda memiliki satu slide dan satu setengah menit.

Apa yang ada di dalamnya?

Tiga hal, setiap saat:

1. Angka utama. Satu baris dicetak tebal. Jumlah dolar, peningkatan, perubahan. Bukan metodologinya.
2. Keputusan yang diperlukan. Apa yang kita minta eksekutif untuk setujui, danai, atau ubah? Ungkapkan sebagai kalimat kata kerja: "Setujui penambahan 2 CSM ke pod berisiko tinggi" atau "Jeda uji harga untuk segmen SMB hingga minggu depan."
3. Pemilik dan tanggalnya. Siapa yang melakukan tindakan, kapan. Tanpa ini, rapat berakhir dengan perasaan.

Semua yang lain adalah lampiran. Kartu model, tingkat penting fitur, performa holdout, analisis irisan: semua itu masuk ke slide 5 hingga 30, dan Anda hanya menampilkannya jika diminta.

Saya meminta tim saya untuk membangun jawaban 1 slide terlebih dahulu, sebelum slide lainnya. Jika Anda tidak bisa menulisnya, Anda belum memiliki temuan. Anda memiliki status proyek. Itu adalah artefak yang berbeda dan pergi ke ruang yang berbeda.

Jawaban 1 slide yang baik dibaca seperti memo keputusan, bukan ringkasan penelitian. CFO bisa membawanya ke atasannya. CRO bisa meneruskannya ke VP-nya. Jika slide Anda tidak bisa dicabut dari konteksnya dan tetap masuk akal, belum selesai.

Kapan menggunakan interval kepercayaan (dan kapan melewatinya)

Ini yang kontroversial: sebagian besar waktu, interval kepercayaan tidak termasuk dalam slide.

Saya tahu. Kita dilatih untuk selalu menunjukkan ketidakpastian. Dan dalam tinjauan DS sejawat, Anda harus melakukannya. Begitulah pekerjaan diuji. Tetapi dalam ruang eksekutif, interval kepercayaan sering melakukan kebalikan dari yang Anda maksudkan. Anda bermaksud "saya sedang bersikap ketat." Mereka mendengar "Anda sebenarnya tidak tahu." Keputusan membeku. Tidak ada yang bertindak. Model tidak mengubah apa pun.

Aturan yang saya gunakan: tampilkan intervalnya ketika keputusan berubah pada batas bawah. Sembunyikan ketika tidak.

Dua contoh.

Tampilkan. Uji harga menunjukkan peningkatan pendapatan 4%, CI 95% [-1%, 9%]. Batas bawahnya negatif. Keputusan benar-benar berubah berdasarkan hal itu. Jika efek sebenarnya adalah -1%, Anda tidak meluncurkan. CI adalah seluruh inti pesannya. Mulailah dengan itu.

Sembunyikan. Model churn mengatakan 47 akun berisiko tinggi, dengan interval kalibrasi yang mengatakan "antara 41 dan 53 akun akan benar-benar churn dalam 90 hari ke depan." Keputusan (hubungi mereka minggu ini) tidak berubah apakah angkanya 41 atau 53. Intervalnya mengalihkan perhatian. Masukkan ke lampiran, sebut sekali jika ditanya: "rentangnya plus atau minus 6 akun pada kepercayaan 90%, tidak mengubah tindakannya."

Pajak presisi palsu itu nyata, tetapi pajak ketidakpastian palsu sama nyatanya. CI [-1%, 9%] yang dipresentasikan di samping rekomendasi arah memberi sinyal yang salah kepada eksekutif: bahwa Anda berpagar karena tidak percaya angka Anda sendiri. Jika Anda percaya pada keputusan arah, buatlah keputusan arah. CI ada di lampiran tempat rekan DS dapat memeriksanya.

Jika ragu, tanya diri Anda: "jika batas bawahnya 20% lebih buruk, apakah rekomendasi akan berubah?" Jika ya, tampilkan intervalnya. Jika tidak, Anda menampilkannya untuk diri sendiri, bukan untuk ruangan.

Ketegangan "model mengatakan X tetapi bisnis tahu Y"

Ini adalah momen yang menghancurkan DS IC junior. Model mengatakan satu hal. Kepala Sales mendorong balik: "itu bukan yang saya lihat di lapangan." Ruangan berpaling kepada Anda. Sekarang apa?

Jangan lawan di slide. Anda akan kalah, dan Anda seharusnya. Kepala Sales memiliki konteks yang tidak dimiliki model.

Sebaliknya, lakukan tiga hal, secara berurutan:

1. Nyatakan konfliknya, dengan lantang. "Model memprediksi bahwa kesepakatan mid-market di atas $50 ribu ditutup 30% lebih cepat ketika kita memimpin dengan demo integrasi. Mike, Anda mengatakan itu tidak cocok dengan apa yang Anda lihat di lapangan. Mari kita gali itu. Ini penting."

Ini terdengar sederhana. Ini sebenarnya bagian yang paling sulit. Kebanyakan DS IC diam, atau lebih buruk lagi, defensif. Menyatakan konflik mengatakan: saya percaya model saya, saya percaya intuisi Anda, dan salah satu dari kita melewatkan sesuatu. Mari kita temukan apa itu.

2. Tampilkan data yang dilihat model. Bukan algoritmanya. Datanya. "Berikut adalah 340 kesepakatan dari 12 bulan terakhir yang menjadi input model ini." Ini sering menyelesaikan konflik secara instan. Kepala Sales melihat data dan berkata "oh, ini sebagian besar kesepakatan inbound, penolakan saya tentang outbound, yang tidak dilihat model." Sekarang Anda memiliki temuan nyata: model benar untuk inbound, intuisi benar untuk outbound, dan peta jalan adalah membangun model terpisah untuk outbound atau membatasi cakupan ini hanya untuk inbound.

3. Tanya apa yang diketahui bisnis yang tidak ada dalam data. "Mike, apa yang perlu Anda lihat di lapangan agar rekomendasi model ini masuk akal bagi Anda?" Ini membalik percakapan dari pertahanan ke kolaborasi. Anda tidak lagi berargumen untuk model Anda. Anda mengumpulkan fitur.

Sembilan dari sepuluh kali, intuisi itu benar tentang sesuatu yang tidak ditangkap data: pergeseran strategi baru-baru ini, pesaing yang memasuki segmen, perubahan rencana kompensasi tiga bulan lalu yang belum sepenuhnya diserap data. Perlakukan penolakan sebagai sinyal gratis. Tuliskan. Itu adalah fitur Anda berikutnya.

Satu kasus di mana Anda harus mempertahankan posisi: ketika penolakan Kepala Sales adalah "saya tidak percaya itu." Itu bukan sinyal balik. Itu adalah ketidaknyamanan diukur. Tetap tenang, berikan data kepada mereka, dan biarkan mereka merenungkannya.

Menerjemahkan probabilitas model ke dalam tindakan bisnis

Skor propensity 0,73 tidak berarti apa-apa bagi CFO. Hentikan meletakkan probabilitas di slide eksekutif kecuali Anda telah menerjemahkannya.

Terjemahkan ke salah satu dari tiga hal, tergantung audiens:

• Dolar (untuk CFO, CEO, mitra keuangan)
• Kesepakatan atau akun (untuk pemimpin sales, CRO)
• Headcount atau jam (untuk COO, pemimpin operasi)

Model churn yang mengatakan "23% akun berisiko" menjadi:

ARR $4,2 juta terekspos di 47 akun. 12 di antaranya di atas $100 ribu. Jika kita menyelamatkan 5 dari 12 teratas, kita memulihkan $1,7 juta.

Model lead-scoring yang mengatakan "lead ini memiliki propensity 0,84" menjadi:

Lead desil teratas ditutup pada 31%. Jika kita mengarahkan mereka ke AE senior, kita memproyeksikan 14 kesepakatan closed-won tambahan per kuartal pada ASP kita saat ini, sekitar $980 ribu ARR inkremental.

Perkiraan permintaan yang mengatakan "permintaan Q3 akan 12% di atas rencana" menjadi:

Kita membutuhkan 6 CSM tambahan yang direkrut pada akhir Q2 atau kita akan melewatkan SLA pada 18% akun baru.

Aturan terjemahan: jika angka Anda tidak berakhir dalam dolar, kesepakatan, atau orang, terjemahkan lagi. Otak eksekutif berjalan pada tiga unit tersebut. Skor probabilitas, persentase peningkatan, dan information gain tidak memicu percakapan anggaran. Dolar melakukannya.

Lembar kerja berguna yang saya minta tim saya isi sebelum presentasi eksekutif mana pun:

Jika Anda tidak bisa mengisi kolom sisi kanan, Anda tidak memiliki temuan eksekutif. Anda memiliki output penelitian. Keduanya bukan hal yang sama.

Pre-read untuk pemangku kepentingan

Kebiasaan dengan leverage tertinggi yang saya adopsi dalam lima tahun pekerjaan DS: kirim pre-read satu halaman 24 jam sebelum rapat.

Bukan deck-nya. Satu halaman. Tiga poin. Keputusan yang Anda minta.

Format yang saya gunakan:

Subjek: [Diperlukan keputusan] Risiko Churn Q2, rekomendasikan kita bergerak pada 12 akun teratas minggu ini

Apa yang berubah:
- ARR $4,2 juta berisiko churn tinggi di Q2, naik dari $2,8 juta kuartal lalu
- 12 akun di atas $100 ribu, terkonsentrasi pada 5 pelanggan
- Pendorong utama: kecepatan tiket dukungan (peningkatan 3x dalam 30 hari terakhir)

Yang saya minta:
- Setujui outreach save-motion CSM ke 12 teratas minggu ini
- Setujui anggaran $40 ribu untuk paket diskon retensi pada 5 teratas
- Keputusan pada EOD Rabu agar gerakan dimulai Kamis

Yang akan saya bawa ke rapat:
- 12 akun, dinilai
- Draf Playbook save-motion
- Proyeksi hasil 90 hari dengan dan tanpa tindakan

Tiga hal yang dilakukan ini:

1. Eksekutif masuk rapat sudah 80% menuju keputusan. Mereka punya waktu untuk berpikir, menarik pendapat tim mereka, kembali dengan pertanyaan yang lebih tajam.
2. Anda menemukan keberatan secara tertulis, secara asinkron, di mana Anda bisa mengatasinya dengan tenang. Tidak di tempat, di mana Anda akan tergagap.
3. Jika rapat dibatalkan (dan satu dari tiga rapat eksekutif dalam pengalaman saya dibatalkan), keputusan tetap dibuat. Pre-read adalah artefaknya. Rapat hanya ratifikasinya.

Kesalahan yang saya lihat DS IC lakukan: mereka mengirim deck sebagai pre-read. Eksekutif membuka slide 1, melihat confusion matrix, dan menutup email. Jangan kirim deck-nya. Kirim halamannya. Deck adalah lampirannya.

Apa yang harus dihilangkan

Hal-hal yang tidak boleh ada di slide untuk audiens eksekutif:

• Kurva ROC
• Confusion matrix
• Plot tingkat penting fitur (kecuali satu fitur adalah seluruh ceritanya dan Anda menamainya)
• Tabel hyperparameter
• Apa pun dengan "log-loss," "perplexity," "KL divergence," atau "MAP" dalam judulnya
• Rincian fold validasi silang
• Kurva loss
• Diagram arsitektur model Anda
• Daftar library yang Anda gunakan

Jika eksekutif bertanya, Anda memiliki semua ini di lampiran. Anda harus bisa membalik ke slide 18 dan menjawab "ya, AUC adalah 0,87, dikalibrasi pada holdout 5-fold." Jangan sukarela menyebutnya.

Standarnya keras tetapi adil: jika sebuah slide tidak membantu eksekutif memutuskan, slide itu tidak masuk ke bagian depan deck. Artefak model pergi ke tinjauan DS sejawat, yang merupakan rapat berbeda dengan audiens yang berbeda. Mencampurkan audiens tersebut adalah bagaimana deck 30 slide dibangun yang tidak dibaca siapa pun.

Saya akan melangkah lebih jauh: jika Anda menemukan diri ingin menampilkan kurva ROC, tanya mengapa. Biasanya karena Anda bangga dengan model. Itu wajar, Anda memang seharusnya. Tetapi kebanggaan tidak mendorong keputusan. Angka utama yang melakukan itu. Tampilkan angka utama. Kurva ROC adalah untuk DS lead Anda.

Perangkap "kami membangun model yang tidak mengubah apa pun"

Hasil terburuk dalam pekerjaan DS bukan model yang salah. Ini adalah model yang benar yang tidak ditindaklanjuti siapa pun.

Saya telah menyaksikan tim merilis model churn yang indah yang duduk di dashboard Looker selama setahun karena tidak ada yang pernah mendefinisikan apa yang harus dilakukan tim CSM dengannya. Saya telah melihat model lead-scoring dengan AUC 0,91 yang menghasilkan nol closed-won inkremental, karena logika routing tidak pernah berubah. Modelnya benar. Loop tindakan hilang.

Ini adalah perangkapnya, dan dipasang sebelum baris kode pertama ditulis.

Perbaikannya berada di hulu komunikasi. Sebelum Anda memulai proyek, tuliskan jawaban atas pertanyaan ini: "jika model bekerja dengan sempurna, apa yang akan berubah dalam bisnis pada hari Senin?"

Jika Anda tidak bisa menjawab itu dalam satu kalimat, jangan mulai proyeknya. Kembali ke pemangku kepentingan. Tanya mereka. Jika mereka juga tidak bisa menjawabnya, proyek belum siap.

Jawaban yang baik: "Tim CSM akan memiliki daftar berperingkat akun berisiko setiap Senin dan akan menghubungi 10 teratas minggu itu."

Jawaban yang buruk: "Kita akan lebih memahami churn."

Memahami bukan tindakan. Itu perasaan. Tidak ada yang mendapat promosi karena lebih memahami churn. Orang mendapat promosi karena mempertahankan $4 juta ARR dengan menghubungi 12 akun.

Setelah Anda memiliki jawabannya, sisa proyek menjadi lebih mudah:

• Format output ditentukan oleh tindakan ("daftar akun berperingkat")
• Kadence ditentukan oleh alur kerja ("setiap Senin")
• Metrik sukses ditentukan oleh hasil bisnis ("ARR yang dipertahankan vs kontrol")
• Strategi komunikasi ditentukan oleh siapa yang bertindak berdasarkan itu ("tim CSM, mingguan, dalam tinjauan Pipeline mereka yang sudah ada")

Jika loop tindakan nyata, komunikasinya menulis dirinya sendiri. Slide tersebut mengatakan: "ini daftarnya. Hubungi 10 teratas. Kami akan mengukur retensi dalam 90 hari."

Jika loop tindakan hilang, tidak ada jumlah poles slide yang akan menyelamatkan Anda. Model masuk ke laci. Eksekutif berhenti menghadiri rapat Anda. Rekrutan DS berikutnya mewarisi model yang sama dan dashboard yang sama, dan siklus berulang.

Ini adalah disiplin paling sulit dalam pekerjaan DS IC. Hampir tidak ada yang mengajarkannya di sekolah. Standar teknis adalah standar yang mudah. Standar loop tindakan adalah yang memisahkan DS IC yang mendapat promosi dari yang tidak.

Pelajari Lebih Lanjut

• Template Deskripsi Pekerjaan Data Scientist
• Manajemen Pemangku Kepentingan untuk IC
• Pelaporan A/B Test yang Tidak Dipermasalahkan Lagi
• Kapan Menolak Brief yang Buruk