Metrik BA: Masa untuk Mendapat Cerapan, Kesan Keputusan, NPS Pihak Berkepentingan

Kebanyakan BA tidak dapat menjawab "apa yang kerja anda ubah suku tahun lepas?" tanpa mengangkat tangan dengan막막. Mereka mencapai untuk kiraan tiket. Empat puluh tujuh papan pemuka dihantar. Dua belas ratus pertanyaan dijalankan. Angka-angka itu kedengaran seperti kerja, tetapi tiada siapa dalam bilik itu fikir ia adalah jawapan, termasuk BA yang mengatakannya. Ketua analitik mengangguk dengan sopan. VP data sedang menyemak Slack. Anda boleh merasakan kerusi semakin kecil.

Ini adalah bahagian kerja Penganalisis Perniagaan yang tidak pernah diajar kepada sesiapa. Anda menghabiskan tiga tahun mempelajari SQL, reka bentuk papan pemuka, temu bual pihak berkepentingan, dan sifar jam tentang cara mengukur kerja anda sendiri. Kemudian kemelesetan datang, CFO bertanya kepada VP data peranan mana yang menyokong beban, dan "kami sibuk" bertukar menjadi "kami dipotong."

Berikut adalah sistem pengukuran yang akan saya berikan kepada BA IC yang melapor kepada ketua analitik atau VP data, seminggu sebelum QBR mereka seterusnya. Lima metrik, julat sasaran sebenar, dan diagnostik yang mengubah slaid defensif menjadi slaid ofensif. Tiada satu daripada ini yang sia-sia. Semua boleh ditarik minggu depan.

Mengapa Kebanyakan BA Tidak Mengukur Kerja Mereka Sendiri

Tiga sebab sebenar, mengikut urutan betapa kerap saya mendengarnya.

Pasukan adalah instrumen. Output BA adalah pertimbangan yang diterapkan pada data. Mengukurnya terasa rekursif, seperti bertanya kepada termometer seberapa panas ia. Jadi tiada siapa yang melakukannya, dan termometer dikeluarkan secara senyap dari dinding.

Kepimpinan tidak pernah bertanya. Kewangan diukur kerana CFO mengukur kewangan. Jualan diukur kerana pelan ganjaran melakukannya secara percuma. Analitik diukur oleh sesiapa yang hadir dengan sistem pengukuran, dan secara historis itu bukan sesiapa pun. Keadaan lalai adalah tiada metrik, yang juga merupakan laluan lalai kepada "kami tidak benar-benar tahu apa yang mereka lakukan."

Setiap metrik terasa boleh dipermainkan. Masa untuk mendapat cerapan? Saya hanya akan menolak kembali cap waktu mula. Penggunaan papan pemuka? Saya akan menghantar pautan dalam tiga saluran Slack. NPS? Saya hanya akan meninjau orang yang menyukai saya. Semua benar. Semua juga benar untuk setiap metrik dalam setiap fungsi lain. Wakil jualan mendeflasikan ramalan. Pemasar memilih atribusi yang menguntungkan. Jawapannya bukan "tiada metrik," ia adalah "metrik + budaya yang tidak memberi ganjaran kepada permainan."

Pengelakan di bawah ketiga-tiganya adalah "kami sibuk" sebagai KPI de facto. Sibuk adalah yang mati pertama dalam semakan belanjawan. Sibuk adalah metrik pasukan yang tidak mempunyai satu pun.

Lima Metrik

Pilih ini kerana ia membuat triangulasi. Kelajuan (masa untuk mendapat cerapan), kualiti (kesan keputusan), jangkauan (penggunaan papan pemuka), hubungan (NPS pihak berkepentingan), dan kesihatan operasi (umur senarai tertangguh). Tinggalkan mana-mana satu dan seseorang boleh berhujah anda mengoptimumkan untuk perkara yang salah. Bersama-sama ia sukar dipermainkan tanpa jelas-jelas mempermainkannya.

1. Masa untuk Mendapat Cerapan

Masa berlalu median dari permintaan dibuka hingga jawapan berada di tangan pihak berkepentingan. Bukan "dihantar ke staging." Bukan "PR digabungkan." Di tangan mereka, dengan resit baca atau mesej Slack atau pautan papan pemuka diklik.

Julat sasaran. Median di bawah 4 hari bekerja untuk permintaan standard. Median di bawah 1 hari bekerja untuk permintaan eksekutif peringkat satu (CEO, CFO, ketua produk). Jika median anda adalah 9 hari, pihak berkepentingan anda telah mengelak anda kepada mana-mana orang ops yang membuat Sheets lebih pantas.

Cara menginstrumentasi. Dua cap waktu dalam Jira atau Linear: tiket dicipta, tiket ditandakan "dihantar kepada pihak berkepentingan." Itu sahaja. Jangan cuba mengukur "tiket ditutup" kerana tiket ditutup pada pembersihan Selasa, bukan apabila kerja tiba. Jika anda tidak mempunyai sistem permintaan sama sekali, itu adalah metrik sifar. Pergi sediakan satu sebelum membaca lebih lanjut.

Mod kegagalan. Wakil dan pengurus akan mula "menghantar" tiket yang sebenarnya belum selesai supaya cap waktu kelihatan baik. Tindakan balas: ikat metrik ini kepada NPS pihak berkepentingan, kerana penghantaran palsu akan muncul dalam ulasan NPS dalam suku tahun.

2. Kesan Keputusan

Peratusan analisis yang dihantar yang boleh dinamakan keputusan terhadapnya oleh pihak berkepentingan, 30 hari kemudian. Ini adalah metrik yang kebanyakan BA mengelaknya, kerana ia mendedahkan berapa banyak kerja yang adalah teater.

Julat sasaran. 60% atau lebih baik. Kali pertama anda menjalankannya, anda akan mendapat sekitar 25-40%. Itu normal. Ia juga merupakan angka paling penting pada slaid, kerana jurang antara apa yang anda hantar dan apa yang digunakan adalah tempat kerusi anda berada.

Cara menginstrumentasi. Secara suku tahunan, ambil sampel 20-30 analisis yang dihantar dari 90 hari terakhir. Untuk setiap satu, ping pihak berkepentingan dengan audit 3 soalan:

1. Adakah anda ingat analisis ini? (ya / tidak)
2. Jika ya, adakah ia mengubah sesuatu yang anda lakukan, membunuh pilihan yang sedang anda pertimbangkan, atau mengesahkan pertaruhan yang ingin anda buat? (diubah / dibunuh / disahkan / tiada)
3. Jika "tiada," adakah ia berguna juga, atau hanya bunyi? (berguna / bunyi)

Skor: kira "diubah," "dibunuh," dan "disahkan" sebagai kemenangan kesan keputusan. "Berguna" adalah kemenangan ringan. "Tiada / bunyi" dan "tidak ingat" adalah kerugian. Bahagikan kemenangan dengan jumlah untuk mendapat peratusan.

Mod kegagalan. Anda hanya akan mengaudit pihak berkepentingan kegemaran anda. Tindakan balas: senarai audit datang dari sistem permintaan, bukan dari naluri anda. Sampel rawak, walaupun ia menyakitkan.

3. Penggunaan Papan Pemuka

Penonton aktif mingguan dibahagikan dengan jumlah penonton yang diperuntukkan, bagi setiap papan pemuka. Diperuntukkan bermaksud "orang yang anda berikan pautan kepada" atau "orang dalam kumpulan yang berhak." Aktif bermaksud "memuatkan papan pemuka sekurang-kurangnya sekali dalam 7 hari terakhir."

Julat sasaran. 40% atau lebih baik untuk mana-mana papan pemuka yang anda panggil "teras." Di bawah 10% selama 60 hari berturut-turut, papan pemuka diarkibkan. Tiada pengecualian, termasuk yang ditugaskan oleh VP anda dan dilupakan.

Cara menginstrumentasi. Kebanyakan alat BI (Looker, Tableau, Metabase, Mode, Hex) mendedahkan ini dalam panel pentadbir atau melalui log audit. Jika alat anda tidak, log muatan papan pemuka ke jadual penggunaan sendiri dengan hit sisi pelayan. Kerja petang Sabtu, maksimum.

Mod kegagalan. Peruntukan creep. Anda memberikan 200 orang akses kepada papan pemuka yang 6 orang gunakan dan penyebut anda memusnahkan nisbah. Tindakan balas: takrifkan "diperuntukkan" sebagai kumpulan yang berhak pada masa penciptaan papan pemuka, bukan sesiapa yang mewarisi akses melalui kumpulan SSO kemudian. Dan jalankan pembersihan akses suku tahunan.

4. NPS Pihak Berkepentingan

Tinjauan 1 soalan kepada 8-15 manusia yang sebenarnya anda layani, dijalankan suku tahunan: "Sejauh mana anda berkemungkinan mengesyorkan bekerja dengan pasukan analitik kepada rakan sejawat, pada skala 0-10?" Ditambah satu soalan susulan terbuka: "Apakah satu perkara yang kami patut ubah?"

Julat sasaran. +30 atau lebih baik (NPS = % penyokong tolak % penentang, di mana 9-10 adalah penyokong, 0-6 adalah penentang, 7-8 adalah pasif). Di bawah 0 bermaksud pihak berkepentingan anda lebih suka menggunakan Sheets. Di atas +50 bermaksud anda sama ada hebat atau hanya meninjau rakan-rakan anda.

Cara menginstrumentasi. Google Form, Typeform, apa sahaja. Hantar pada Isnin pertama suku tahun baru, tutup pada Jumaat. Baca setiap ulasan terbuka sendiri. Jangan wakilkan bacaan kepada pengurus anda. Ulasan adalah data sebenar, dan ia tidak diterjemahkan.

Kali pertama saya menjalankan NPS pihak berkepentingan saya mendapat +12 dan ia menyakitkan. Seorang PM telah menulis "pantas tetapi saya tidak mempercayai angka-angkanya." Ulasan itu mengubah cara saya membina semakan penyelarasan selama setahun. Skor kurang berguna daripada ayat di bawahnya, yang merupakan peraturan dengan NPS.

Mod kegagalan. Bias sampel. Anda hanya meninjau orang yang anda hantar kepada setiap minggu, dan terlepas eksekutif yang tidak meminta apa-apa dalam 90 hari kerana dia menyerah pada anda. Tindakan balas: sampel adalah "orang yang mempunyai permintaan terbuka atau tertutup dalam 6 bulan terakhir," bukan "orang yang saya hantar kepada." Jika pihak berkepentingan diam, itu adalah maklumat, dan tinjauan adalah cara anda mendapatinya.

5. Umur Senarai Tertangguh Ad Hoc

Umur median permintaan ad hoc yang sedang terbuka, dalam hari bekerja.

Julat sasaran. Di bawah 14 hari. Apa-apa melebihi 45 hari adalah isyarat kematian-oleh-seribu-luka. Tiket-tiket itu tidak akan disiapkan, tetapi tidak juga ditutup, dan setiap pihak berkepentingan yang mempunyai satu di sana secara senyap kehilangan kepercayaan kepada pasukan.

Cara menginstrumentasi. Paparan dalam Jira atau Linear yang menapis pada status != ditutup dan jenis kandungan = ad hoc. Isih mengikut umur. Tarik median setiap minggu.

Mod kegagalan. Menutup tiket lapuk secara besar-besaran sehari sebelum syot kilat metrik. Tindakan balas: jejak "tiket berumur >45 hari, ditutup tanpa penghantaran" sebagai metrik sampingan. Jika ia melonjak, anda membersihkan almari, bukan kerja.

Diagnostik "Penggunaan Tinggi tetapi Kesan Keputusan Rendah"

Kini metrik mula berfungsi bersama. Papan pemuka dengan 200 penonton aktif mingguan dan sifar keputusan yang dinamakan dalam audit kesan bukan papan pemuka yang berjaya. Ia adalah hiasan dinding. Hiasan dinding yang cantik. Hiasan dinding yang mahal. Masih hiasan dinding.

Diagnostik kelihatan seperti ini. Tiga isyarat, semua diperlukan:

1. Penggunaan papan pemuka tinggi (>40% aktif mingguan).
2. Kesan keputusan untuk analisis yang berkaitan dengan papan pemuka itu rendah (<20% sampel audit menamakan keputusan).
3. KPI perniagaan yang dijejaki adalah mendatar atau bergerak ke arah yang salah.

Apabila ketiga-tiganya benar, anda telah membina artifak semak status, bukan artifak sokongan keputusan. Orang melihatnya seperti orang melihat aplikasi cuaca, untuk berasa maklum berbanding untuk bertindak. KPI lembaga mendatar, papan pemuka sibuk, tiada yang berubah.

Tiga tindakan untuk memperbaikinya, mengikut urutan betapa agresif yang anda ingin:

• Padamkan papan pemuka, gantikan dengan memo bulanan. Memo 1 halaman memaksa tafsiran. Papan pemuka membenarkan orang memutuskan ia bermaksud apa sahaja yang mereka harap.
• Instrumentasikan soalan keputusan ke dalam papan pemuka itu sendiri. Di bahagian atas halaman: "Jika metrik ini jatuh di bawah X minggu ini, kami akan Y." Tiba-tiba papan pemuka mempunyai gigi, dan seseorang memiliki Y.
• Pindahkannya dari papan pemuka ke amaran Slack. Papan pemuka statik adalah tarikan. Amaran adalah tolakan. Tolakan hanya berbunyi apabila sesuatu memerlukan keputusan, yang merupakan satu-satunya masa melihat data penting.

Diagnostik juga berjalan secara terbalik. Penggunaan rendah + kesan keputusan tinggi = papan pemuka yang satu atau dua eksekutif gunakan untuk membuat keputusan sebenar. Jangan padamkan yang itu. Walaupun nisbah penggunaan adalah 4%, 4 orang itu adalah keseluruhan sebab papan pemuka wujud.

Corak Slaid QBR

Satu slaid. Lima nombor, suku tahun lepas berbanding suku tahun ini, ditambah tiga keputusan bernama yang digerakkan oleh analitik. Tiada carta sia-sia. Tiada Sankey. Tiada diagram "perjalanan kematangan data." Khalayak eksekutif mempunyai 90 saat perhatian untuk fungsi anda dan anda akan menghabiskan 60 daripadanya pada carta bagaimana pertanyaan SQL berkembang, yang tidak boleh dipulihkan.

Berikut adalah format yang saya jalankan. Tajuk di bahagian atas: "Hasil Analitik S[N]."

Di bawah jadual, tiga butiran. Tajuk: "Keputusan yang digerakkan oleh analitik suku tahun ini."

• "Membunuh pertaruhan pengembangan EU (14 Apr). Analisis peringkat harga menunjukkan TAM sub-€2J pada ICP semasa kami."
• "Menghala semula model wilayah SDR (3 Mac). Analisis liputan mendedahkan 31% kapasiti yang dibazirkan di TX/CA."
• "Meluluskan pembinaan sokongan layan diri (22 Mac). Sim penolakan tiket mengunjurkan penjimatan 18%, bayaran balik 8 bulan."

Tarikh, keputusan, analisis. Itulah slaid. Keseluruhan slaid. CFO boleh membacanya dalam 20 saat, VP data mempunyai pembelaan yang boleh dipetik ke atas, dan pasukan BA mempunyai bar yang akan mereka lampaui suku tahun depan atau mempunyai perbualan sukar tentang sebabnya tidak.

Yang tidak ada pada slaid: kiraan papan pemuka, jumlah pertanyaan, "baris SQL yang ditulis," tiket ditutup, reaksi Slack #data-help, jam latihan yang disampaikan, model dbt yang ditambah, reka bentuk semula skema yang dihantar. Setiap satu daripada itu adalah metrik sia-sia.

Perangkap Metrik Sia-Sia

Setiap ini dicadangkan sebagai metrik di suatu tempat. Setiap satu memberi ganjaran kepada tingkah laku yang salah.

Kiraan papan pemuka. Berkorelasi dengan pelbaran, bukan nilai. Pasukan yang menghantar 80 papan pemuka setahun hampir selalu mempunyai masalah penggunaan pada 60 daripadanya. Jika metrik naik, kerja turun.

Jumlah pertanyaan. Berkorelasi dengan ketidakcekapan. BA yang menjalankan 1,200 pertanyaan bulan ini sama ada lemah dalam SQL atau tidak mewujudkan model yang sepatutnya diwujudkan. Jumlah naik bermaksud kos naik, bukan cerapan naik.

Baris SQL. Korelasi songsang dengan kemahiran. BA kanan menulis pertanyaan 40 baris yang junior menulis sebagai 400 baris. Memberi ganjaran kepada kiraan baris adalah memberi ganjaran kepada yang junior.

Tiket ditutup. Dua mod kegagalan. Satu, anda menutup tiket lapuk untuk menggembungkan nombor. Dua, anda cenderung kepada tiket mudah kerana ia ditutup lebih pantas, yang bermaksud permintaan sukar reput dalam senarai tertangguh.

Reaksi Slack pada #data-help. Bias pemilihan yang melampau. Anda hanya mendapat reaksi pada jawapan yang orang sudah teruja tentangnya, yang membiaskan sampel anda kepada kerja popular, yang merupakan kebalikan dari kesan.

Corak merentasi semua lima: setiap satu mengukur aktiviti. Tiada satu pun mengukur hasil. Lima metrik sebenar mengukur hasil, itulah sebabnya ia lebih sukar, lebih perlahan, dan satu-satunya yang bertahan dalam semakan belanjawan.

Apa yang Perlu Dilakukan Bulan Ini

Jangan gulung semua lima sekaligus. Anda akan mempermainkannya, pihak berkepentingan anda akan tidak mempercayai pelancaran, dan slaid QBR tidak akan mempunyai cukup suku tahun data trend untuk bermakna apa-apa.

Sebaliknya, pilih dua:

1. Masa untuk mendapat cerapan. Paling murah untuk diinstrumentasikan (dua cap waktu), isyarat tertinggi dalam 30 hari pertama, paling sukar untuk dibantah.
2. NPS pihak berkepentingan. Satu e-mel, 8-15 manusia, ulasan kualitatif yang mengubah cara anda bekerja selama setahun. Kesakitan +12 itu bernilai lebih dari 18 bulan kiraan papan pemuka.

Jalankan dua itu selama suku tahun. Pada penghujung suku tahun itu, tambah kesan keputusan (audit mengambil kira-kira 3 jam masa pihak berkepentingan, rancang untuknya). Suku tahun seterusnya, lapisi penggunaan papan pemuka. Satu lagi selepas itu, umur senarai tertangguh ad hoc. Pada penghujung dua suku tahun anda mempunyai sistem pengukuran yang berfungsi, tiga slaid QBR data trend, dan jawapan yang boleh dipertahankan kepada "apa yang kerja anda ubah."

Benang penghubungnya adalah ini. Jika anda tidak memilih metrik, seseorang yang lain akan, dan mereka akan memilih "headcount dibahagikan dengan belanjawan" kerana itu adalah metrik yang mereka sudah gunakan untuk segala-galanya yang lain. Penganalisis Perniagaan yang mengukur kerja mereka sendiri dahulu adalah yang masih berada di kerusi semasa kemelesetan seterusnya. Semua orang lain sibuk.

Ketahui Lebih Lanjut

• Peta Pihak Berkepentingan BA: Siapa yang Sebenarnya Memutuskan
• Mematikan Papan Pemuka Zombie Tanpa Politik
• Menulis Satu Halaman Penganalisis yang Dibaca Eksekutif
• Cara BA Berkata Tidak Tanpa Membakar Jambatan