Menyampaikan Keputusan kepada Pihak Berkepentingan Bukan ML: Cara DS IC Berhenti Menguburkan Inti Utama

Kali terakhir saya duduk menonton bacaan seorang Data Scientist kepada CFO, slaid pertama adalah matriks kekeliruan. CFO itu bertanya dengan sopan, apa yang dia sedang lihat. Dua belas minit kemudian, dia masih tidak tahu apa yang perlu dilakukan pada hari Isnin. Model itu baik. Pembentangan itu adalah sebuah bencana kecil.

Inilah corak penguburan inti utama, dan ia membunuh lebih banyak kerja DS daripada kod buruk. Anda menghabiskan enam minggu pada model peralihan pelanggan. Eksekutif mendapat lapan minit dalam agenda. Jika slaid pertama anda tidak menjawab soalan yang mereka datang untuk tanya, mesyuarat berakhir dengan "mari kita kembali semula," dan model anda masuk ke laci bersama yang lain.

Panduan ini adalah rangka kerja yang saya gunakan, dan yang saya ajarkan kepada DS IC junior dalam pasukan saya. Ini bukan tentang menyederhanakan. Ini tentang menghormati bahawa kerja eksekutif adalah untuk memutuskan, bukan untuk mempelajari ML. Slaid anda sama ada membantu mereka memutuskan atau tidak.

Inti utama "apa yang berubah?"

Setiap pembentangan eksekutif menjawab satu soalan terlebih dahulu: apa yang berbeza sekarang berbanding suku tahun lepas?

Bukan "inilah cara kami membina model." Bukan "lengkung ROC kelihatan bagus." Apa yang berubah dalam perniagaan, dan apa yang perlu kita lakukan mengenainya.

Inti utama adalah ayat pertama yang eksekutif dengar atau baca. Jika anda perlu menatal untuk mencarinya, anda sudah kalah. Bandingkan dua pembukaan ini untuk analisis peralihan pelanggan yang sama:

Terpendam: "Kami melatih model gradient-boosted pada 18 bulan telemetri akaun, mencapai AUC 0.87 dengan pengesahan silang 5 lipatan. Kepentingan ciri menunjukkan halaju tiket sokongan adalah isyarat terkuat."

Jelas: "$4.2 juta ARR berisiko tinggi peralihan pelanggan dalam S2, naik dari $2.8 juta suku tahun lepas. Peningkatan ini tertumpu dalam 12 akaun melebihi $100,000. Kita perlu memutuskan hari ini mana 5 yang pasukan CSM hubungi minggu ini."

Model yang sama. Data yang sama. Yang kedua memulakan mesyuarat. Yang pertama mengakhirinya.

Jika anda tidak boleh menulis ayat "apa yang berubah" dalam 30 saat, kerja itu belum sedia untuk dibentangkan. Kembali ke laptop anda. Pembentangan tidak boleh memperbaiki tesis yang belum anda namakan.

Latihan yang berguna: sebelum anda membina satu slaid pun, tulis baris subjek e-mel yang akan anda hantar jika eksekutif bertanya "apa yang anda temui?" Jika baris subjeknya adalah "kemaskini analisis peralihan pelanggan S2," itu adalah laporan status, bukan penemuan. Jika ia adalah "$4.2 juta ARR terdedah merentasi 47 akaun; mengesyorkan kita bergerak sekarang pada 12 teratas," itulah penemuan. Bina dek di sekeliling baris subjek.

Jawapan 1 slaid

Anggap mesyuarat dipotong kepada 90 saat. Ini berlaku lebih kerap daripada yang anda fikirkan. CRO dipanggil ke panggilan pelanggan. CFO ada persediaan lembaga pada pukul 2 petang. Anda mempunyai satu slaid dan seminit setengah.

Apa yang ada padanya?

Tiga perkara, setiap kali:

1. Nombor tajuk utama. Satu baris tebal. Jumlah dollar, peningkatan, perubahan. Bukan metodologi.
2. Keputusan yang diperlukan. Apa yang kita minta eksekutif luluskan, biayai, atau ubah? Frasa sebagai ayat kata kerja: "Luluskan menambah 2 CSM ke pod berisiko tinggi" atau "Tangguhkan ujian penetapan harga untuk segmen PKS sehingga minggu depan."
3. Pemilik dan tarikh. Siapa yang melakukan sesuatu, bila. Tanpa ini, mesyuarat berakhir dengan perasaan.

Segala-galanya lain adalah lampiran. Kad model, kepentingan ciri, prestasi holdout, analisis hirisan: semuanya masuk dalam slaid 5 hingga 30, dan anda hanya menunjukkan jika diminta.

Saya minta pasukan saya membina jawapan 1 slaid terlebih dahulu, sebelum slaid lain. Jika anda tidak boleh menulisnya, anda belum mempunyai penemuan. Anda mempunyai status projek. Ia adalah artifak yang berbeza dan pergi ke bilik yang berbeza.

Jawapan 1 slaid yang baik dibaca seperti memo keputusan, bukan ringkasan penyelidikan. CFO boleh membawanya kepada bosnya. CRO boleh menghantarnya kepada VP-nya. Jika slaid anda tidak boleh diambil dari konteks dan masih bermakna, ia belum siap.

Bila hendak menggunakan selang keyakinan (dan bila hendak melangkaunya)

Inilah heresannya: kebanyakan masa, selang keyakinan tidak sepatutnya ada pada slaid.

Saya tahu. Kita dilatih untuk sentiasa menunjukkan ketidakpastian. Dan dalam semakan DS rakan sejawat, anda sepatutnya berbuat demikian. Itulah cara kerja diuji. Tetapi dalam bilik eksekutif, selang keyakinan sering melakukan sebaliknya daripada yang anda niatkan. Anda bermaksud "saya bersikap teliti." Mereka mendengar "anda sebenarnya tidak tahu." Keputusan membeku. Tiada siapa bertindak. Model itu tidak mengubah apa-apa.

Peraturan yang saya gunakan: tunjukkan selang apabila keputusan bertukar pada sempadan bawah. Sembunyikan apabila tidak.

Dua contoh.

Tunjukkan. Ujian penetapan harga menunjukkan peningkatan hasil 4%, 95% CI [-1%, 9%]. Sempadan bawah adalah negatif. Keputusan itu benar-benar bertukar pada itu. Jika kesan sebenar adalah -1%, anda tidak melancarkan. CI adalah keseluruhan perkara. Mulakan dengannya.

Sembunyikan. Model peralihan pelanggan mengatakan 47 akaun berisiko tinggi, dengan selang kalibrasi yang mengatakan "antara 41 dan 53 akan benar-benar berpindah dalam 90 hari akan datang." Keputusan (hubungi mereka minggu ini) tidak berubah sama ada nombor itu 41 atau 53. Selang itu mengganggu. Masukkan dalam lampiran, sebut sekali jika ditanya: "selangnya lebih kurang 6 akaun pada keyakinan 90%, tidak mengubah tindakan."

Cukai ketepatan palsu adalah nyata, tetapi cukai ketidakpastian palsu sama nyatanya. CI sebesar [-1%, 9%] yang dibentangkan di sebelah cadangan berarah memberi isyarat yang salah kepada eksekutif: bahawa anda berhemat kerana anda tidak percaya nombor anda sendiri. Jika anda percaya pada panggilan berarah, buat panggilan berarah. CI tinggal dalam lampiran di mana rakan DS boleh meneliti.

Apabila ragu, tanya diri sendiri: "jika sempadan bawah 20% lebih buruk, adakah cadangan akan berubah?" Jika ya, tunjukkan selang. Jika tidak, anda menunjukkannya untuk diri sendiri, bukan untuk bilik.

Ketegangan "model kata X tetapi perniagaan tahu Y"

Inilah saat yang memecahkan DS IC junior. Model mengatakan satu perkara. Ketua Jualan menolak balik: "itu bukan yang saya lihat di lapangan." Bilik berpaling kepada anda. Apa sekarang?

Jangan lawan di slaid. Anda akan kalah, dan anda sepatutnya kalah. Ketua Jualan mempunyai konteks yang tidak dimiliki model.

Sebaliknya, lakukan tiga perkara, mengikut urutan:

1. Namakan konflik, dengan lantang. "Model meramalkan bahawa urusan pasaran sederhana melebihi $50,000 ditutup 30% lebih pantas apabila kami memimpin dengan demo integrasi. Mike, anda mengatakan itu tidak sepadan dengan apa yang anda lihat di lapangan. Mari kita usahakan itu. Ia penting."

Ini kedengaran mudah. Sebenarnya, ini adalah bahagian yang paling sukar. Kebanyakan DS IC diam, atau lebih teruk, bersikap defensif. Menamakan konflik berkata: saya mempercayai model saya, saya mempercayai naluri anda, dan salah seorang daripada kita terlepas sesuatu. Mari kita cari apa.

2. Tunjukkan data yang dilihat model. Bukan algoritma. Data. "Inilah 340 urusan dari 12 bulan lepas yang mempersiapkan model ini." Ini sering menyelesaikan konflik dengan serta-merta. Ketua Jualan melihat data dan berkata "oh, itu kebanyakannya urusan masuk, tolak balik saya adalah tentang keluar, yang tidak dilihat model." Kini anda mempunyai penemuan sebenar: model betul untuk masuk, naluri betul untuk keluar, dan peta jalan adalah membina model berasingan untuk keluar atau melingkupkan yang ini hanya untuk masuk.

3. Tanya apa yang perniagaan tahu yang data tidak tahu. "Mike, apa yang perlu anda lihat di lapangan untuk cadangan model bermakna kepada anda?" Ini membalikkan perbualan dari pertahanan kepada kerjasama. Anda tidak lagi berhujah untuk model anda. Anda sedang mengumpulkan ciri.

Sembilan daripada sepuluh kali, naluri itu betul tentang sesuatu yang data tidak tangkap: peralihan strategi baru-baru ini, pesaing memasuki segmen, perubahan pelan pampasan tiga bulan lalu yang data belum sepenuhnya serap. Anggap tolak balik sebagai isyarat percuma. Tuliskannya. Itu adalah ciri seterusnya anda.

Satu kes di mana anda harus berpegang teguh: apabila tolak balik Ketua Jualan adalah "saya tidak percaya sahaja." Itu bukan isyarat lawan. Itu adalah ketidakselesaan dengan diukur. Tetap tenang, serahkan data kepada mereka, dan biarkan mereka duduk dengannya.

Menterjemahkan kebarangkalian model kepada tindakan perniagaan

Skor kecenderungan 0.73 tidak bermakna apa-apa kepada CFO. Berhenti meletakkan kebarangkalian pada slaid eksekutif melainkan anda telah menterjemahkan.

Terjemahkan kepada salah satu daripada tiga perkara, bergantung kepada penonton:

• Dollar (untuk CFO, CEO, rakan kewangan)
• Urusan atau akaun (untuk pemimpin jualan, CRO)
• Jumlah pekerja atau jam (untuk COO, pemimpin operasi)

Model peralihan pelanggan yang mengatakan "23% akaun berisiko" menjadi:

$4.2 juta ARR terdedah merentasi 47 akaun. 12 daripadanya melebihi $100,000. Jika kita menyelamatkan 5 daripada 12 teratas, kita mendapatkan semula $1.7 juta.

Model pemarkahan lead yang mengatakan "lead ini mempunyai kecenderungan 0.84" menjadi:

Lead desil teratas ditutup pada 31%. Jika kita menghalakan mereka kepada AE senior, kita meramalkan 14 urusan tertutup tambahan setiap suku tahun pada ASP semasa kita, kira-kira $980,000 dalam ARR tambahan.

Ramalan permintaan yang mengatakan "permintaan S3 akan 12% melebihi rancangan" menjadi:

Kita perlu 6 CSM tambahan diambil bekerja menjelang akhir S2 atau kita terlepas SLA pada 18% akaun baru.

Peraturan terjemahan: jika nombor anda tidak berakhir dalam dollar, urusan, atau orang, terjemahkan semula. Otak eksekutif berjalan pada tiga unit tersebut. Skor kebarangkalian, peratusan peningkatan, dan perolehan maklumat tidak mencetuskan perbualan belanjawan. Dollar ya.

Lembaran kerja berguna yang saya minta pasukan isi sebelum sebarang pembentangan eksekutif:

Jika anda tidak boleh mengisi lajur kanan, anda tidak mempunyai penemuan eksekutif. Anda mempunyai output penyelidikan. Ia bukan perkara yang sama.

Pra-baca pihak berkepentingan

Tabiat tunggal yang paling berdampak tinggi yang saya amalkan dalam lima tahun kerja DS: hantar pra-baca satu halaman 24 jam sebelum mesyuarat.

Bukan dek. Satu halaman. Tiga poin peluru. Keputusan yang anda minta.

Format yang saya gunakan:

Subjek: [Keputusan diperlukan] Risiko Peralihan Pelanggan S2, mengesyorkan kita bergerak pada 12 akaun teratas minggu ini

Apa yang berubah:
- $4.2 juta ARR berisiko peralihan pelanggan tinggi dalam S2, naik dari $2.8 juta suku tahun lepas
- 12 akaun melebihi $100,000, tertumpu dalam 5 pelanggan
- Pemacu utama: halaju tiket sokongan (peningkatan 3x dalam 30 hari lepas)

Apa yang saya minta:
- Luluskan gerakan penyelamatan CSM kepada 12 teratas minggu ini
- Luluskan belanjawan $40,000 untuk pakej diskaun pengekalan pada 5 teratas
- Keputusan menjelang EOD Rabu supaya gerakan bermula Khamis

Apa yang akan saya bawa ke mesyuarat:
- 12 akaun, diberi skor
- Draf playbook gerakan penyelamatan
- Hasil yang diunjurkan 90 hari dengan dan tanpa tindakan

Tiga perkara yang ini lakukan:

1. Eksekutif masuk ke mesyuarat sudah 80% ke arah keputusan. Mereka mempunyai masa untuk berfikir, mendapatkan pandangan pasukan mereka, dan kembali dengan soalan yang lebih tajam.
2. Anda menemui bantahan secara bertulis, secara tak segerak, di mana anda boleh menanganinya dengan tenang. Bukan secara spontan, di mana anda akan tersalah langkah.
3. Jika mesyuarat dibatalkan (dan satu daripada tiga mesyuarat eksekutif dalam pengalaman saya dibatalkan), keputusan masih dibuat. Pra-baca adalah artifak. Mesyuarat hanyalah pengesahan.

Kesilapan yang saya lihat DS IC buat: mereka menghantar dek sebagai pra-baca. Eksekutif membuka slaid 1, melihat matriks kekeliruan, dan menutup e-mel. Jangan hantar dek. Hantar halaman. Dek adalah lampiran.

Apa yang perlu ditinggalkan

Perkara yang tidak sepatutnya ada pada slaid untuk penonton eksekutif:

• Lengkung ROC
• Matriks kekeliruan
• Plot kepentingan ciri (melainkan satu ciri adalah keseluruhan cerita dan anda menamainya)
• Jadual hiperparameter
• Apa-apa dengan "log-loss," "perplexity," "KL divergence," atau "MAP" dalam tajuk
• Pecahan lipatan pengesahan silang
• Lengkung kehilangan
• Gambar rajah seni bina model anda
• Senarai perpustakaan yang anda gunakan

Jika eksekutif bertanya, anda mempunyai semua ini dalam lampiran. Anda sepatutnya boleh bertukar ke slaid 18 dan menjawab "ya, AUC adalah 0.87, dikalibrasi pada holdout 5 lipatan." Jangan sukarela.

Barnya berat tetapi adil: jika slaid tidak membantu eksekutif memutuskan, ia tidak masuk dalam bahagian depan dek. Artifak model pergi ke semakan DS rakan sejawat, yang merupakan mesyuarat berbeza dengan penonton berbeza. Mencampurkan penonton-penonton itu adalah bagaimana dek 30 slaid dibina yang tiada siapa baca.

Saya akan pergi lebih jauh: jika anda mendapati diri anda mahu menunjukkan lengkung ROC, tanya mengapa. Biasanya kerana anda bangga dengan model. Itu adil, anda sepatutnya bangga. Tetapi kebanggaan tidak mendorong keputusan. Nombor tajuk utama yang mendorongnya. Tunjukkan tajuk utama. Lengkung ROC adalah untuk ketua DS anda.

Perangkap "kami membina model yang tidak mengubah apa-apa"

Hasil terburuk dalam kerja DS bukan model yang salah. Ia adalah model yang betul yang tiada siapa bertindak atasnya.

Saya telah menyaksikan pasukan menghantar model peralihan pelanggan yang cantik yang duduk dalam dashboard Looker selama setahun kerana tiada siapa yang pernah menentukan apa yang perlu dilakukan pasukan CSM dengannya. Saya telah melihat model pemarkahan lead dengan AUC 0.91 yang menghasilkan sifar urusan tertutup tambahan, kerana logik penghalaan tidak pernah berubah. Model itu betul. Gelung tindakan tidak ada.

Ini adalah perangkap, dan ia ditetapkan sebelum baris kod pertama ditulis.

Penyelesaiannya adalah sebelum komunikasi. Sebelum anda memulakan projek, tuliskan jawapan kepada soalan ini: "jika model berfungsi sempurna, apa yang akan berubah dalam perniagaan pada hari Isnin?"

Jika anda tidak boleh menjawab itu dalam satu ayat, jangan mulakan projek. Kembali kepada pihak berkepentingan. Tanya mereka. Jika mereka juga tidak boleh menjawabnya, projek itu belum sedia.

Jawapan yang baik: "Pasukan CSM akan mempunyai senarai akaun berisiko yang disusun setiap Isnin dan akan menghubungi 10 teratas minggu itu."

Jawapan yang buruk: "Kita akan memahami peralihan pelanggan dengan lebih baik."

Memahami bukan tindakan. Ia adalah perasaan. Tiada siapa dipromosikan kerana memahami peralihan pelanggan dengan lebih baik. Orang dipromosikan kerana mengekalkan $4 juta ARR dengan menghubungi 12 akaun.

Sebaik sahaja anda mempunyai jawapan, selebihnya projek menjadi lebih mudah:

• Format output didikte oleh tindakan ("senarai akaun yang disusun")
• Kadensi didikte oleh aliran kerja ("setiap Isnin")
• Metrik kejayaan didikte oleh hasil perniagaan ("ARR yang dikekalkan berbanding kawalan")
• Strategi komunikasi didikte oleh siapa yang bertindak ("pasukan CSM, mingguan, dalam semakan pipeline mereka yang sedia ada")

Jika gelung tindakan adalah nyata, komunikasi menulis sendiri. Slaid berkata: "inilah senarai. Hubungi 10 teratas. Kita akan mengukur pengekalan dalam 90 hari."

Jika gelung tindakan tidak ada, tiada jumlah polesan slaid akan menyelamatkan anda. Model masuk ke laci. Eksekutif berhenti hadir ke mesyuarat anda. Pengambilan DS seterusnya mewarisi model yang sama dan dashboard yang sama, dan kitaran itu berulang.

Ini adalah disiplin paling sukar dalam kerja DS IC. Hampir tiada siapa mengajarnya di sekolah. Bar teknikal adalah bar mudah. Bar gelung tindakan adalah apa yang memisahkan DS IC yang dipromosikan daripada mereka yang tidak.

Ketahui Lebih Lanjut

• Templat Perihalan Kerja Data Scientist
• Pengurusan Pihak Berkepentingan untuk IC
• Pelaporan A/B Test yang Tidak Diperbahaskan Semula
• Bila Hendak Menolak Balik Brief yang Buruk