Metrik BA: Time-to-Insight, Dampak Keputusan, NPS Pemangku Kepentingan

Sebagian besar BA tidak bisa menjawab "apa yang diubah oleh pekerjaan Anda kuartal lalu?" tanpa berputar-putar. Mereka mencapai jumlah tiket. Empat puluh tujuh dasbor dikirimkan. Dua belas ratus kueri dijalankan. Angka-angka itu terdengar seperti pekerjaan, tapi tidak ada seorang pun di ruangan yang menganggapnya sebagai jawaban, termasuk BA yang mengucapkannya. Kepala analitik mengangguk dengan sopan. VP data sedang memeriksa Slack. Anda bisa merasakan kursi semakin kecil.

Inilah bagian dari pekerjaan Business Analyst yang tidak pernah dilatih siapa pun. Anda menghabiskan tiga tahun belajar SQL, desain dasbor, wawancara pemangku kepentingan, dan nol jam tentang cara mengukur pekerjaan Anda sendiri. Kemudian resesi datang, CFO bertanya kepada VP data peran mana yang menopang bisnis, dan "kami sibuk" berubah menjadi "kami dipangkas."

Di bawah ini adalah sistem pengukuran yang akan saya berikan kepada seorang BA IC yang melapor kepada kepala analitik atau VP data, seminggu sebelum QBR berikutnya. Lima metrik, kisaran target nyata, dan diagnostik yang mengubah slide defensif menjadi slide ofensif. Tidak ada satupun yang bersifat metrik semu. Semuanya bisa ditarik minggu depan.

Mengapa Sebagian Besar BA Tidak Mengukur Pekerjaan Mereka Sendiri

Tiga alasan nyata, berurutan dari yang paling sering saya dengar.

Tim adalah instrumennya. Output BA adalah penilaian yang diterapkan pada data. Mengukurnya terasa rekursif, seperti bertanya kepada termometer seberapa hangatnya. Jadi tidak ada yang melakukannya, dan termometer itu diam-diam dilepas dari dinding.

Kepemimpinan tidak pernah meminta. Finance diukur karena CFO mengukur finance. Sales diukur karena rencana kompensasi melakukannya secara gratis. Analitik diukur oleh siapa pun yang muncul dengan sistem pengukuran, dan secara historis itu bukan siapa pun. Kondisi default adalah tidak ada metrik, yang juga merupakan jalan default menuju "kami tidak benar-benar tahu apa yang mereka lakukan."

Setiap metrik terasa bisa dimanipulasi. Time-to-insight? Saya akan mundurkan timestamp awalnya. Penggunaan dasbor? Saya akan kirimkan tautannya di tiga saluran Slack. NPS? Saya hanya akan survei orang yang menyukai saya. Semuanya benar. Semuanya juga benar untuk setiap metrik di setiap fungsi lain. Sales rep menghalangi prakiraan. Pemasar memilih atribusi yang menguntungkan. Jawabannya bukan "tidak ada metrik," melainkan "metrik plus budaya yang tidak memberi penghargaan pada manipulasi."

Dalih di balik ketiganya adalah "kami sibuk" sebagai KPI de facto. Sibuk adalah yang pertama mati dalam tinjauan anggaran. Sibuk adalah metrik tim yang tidak memiliki metrik.

Lima Metrik

Pilih ini karena mereka saling melengkapi. Kecepatan (time-to-insight), kualitas (dampak keputusan), jangkauan (penggunaan dasbor), hubungan (NPS pemangku kepentingan), dan kesehatan operasional (usia tumpukan pekerjaan). Hilangkan salah satunya dan seseorang bisa berargumen Anda mengoptimalkan untuk hal yang salah. Bersama-sama mereka sulit untuk dimanipulasi tanpa terlihat jelas memanipulasi.

1. Time-to-Insight

Waktu rata-rata yang berlalu dari permintaan dibuka hingga jawabannya ada di tangan pemangku kepentingan. Bukan "dikirimkan ke staging." Bukan "PR digabungkan." Di tangan mereka, dengan tanda baca terima atau pesan Slack atau tautan dasbor yang diklik.

Kisaran target. Median di bawah 4 hari kerja untuk permintaan standar. Median di bawah 1 hari kerja untuk permintaan eksekutif tier-1 (CEO, CFO, kepala produk). Jika median Anda 9 hari, pemangku kepentingan Anda sudah menemukan jalan lain melewati Anda menuju siapa pun yang membuat Sheets lebih cepat.

Cara mengukur. Dua timestamp di Jira atau Linear: tiket dibuat, tiket ditandai "dikirimkan ke pemangku kepentingan." Hanya itu. Jangan coba mengukur "tiket ditutup" karena tiket ditutup pada pembersihan hari Selasa, bukan saat pekerjaan mendarat. Jika Anda tidak memiliki sistem permintaan sama sekali, itu metrik nol. Pergi buat satu sebelum membaca lebih lanjut.

Mode kegagalan. Perwakilan dan manajer akan mulai "mengirimkan" tiket yang belum benar-benar selesai agar timestamp terlihat bagus. Langkah balasan: kaitkan metrik ini dengan NPS pemangku kepentingan, karena pengiriman palsu muncul dalam komentar NPS dalam satu kuartal.

2. Dampak Keputusan

Persentase analisis yang dikirimkan yang dapat disebutkan pemangku kepentingan sebagai keputusan, 30 hari kemudian. Ini adalah metrik yang paling membuat BA bergidik, karena ini adalah yang mengungkapkan berapa banyak pekerjaan yang bersifat sandiwara.

Kisaran target. 60% atau lebih baik. Pertama kali Anda menjalankannya, Anda akan mendapatkan sekitar 25-40%. Itu normal. Itu juga angka terpenting di slide, karena kesenjangan antara apa yang Anda kirimkan dan apa yang digunakan adalah tempat kursi Anda berada.

Cara mengukur. Setiap kuartal, ambil sampel 20-30 analisis yang dikirimkan dari 90 hari terakhir. Untuk masing-masing, ping pemangku kepentingan dengan audit 3 pertanyaan:

1. Apakah Anda ingat analisis ini? (ya / tidak)
2. Jika ya, apakah ini mengubah sesuatu yang Anda lakukan, membunuh opsi yang sedang Anda pertimbangkan, atau mengkonfirmasi taruhan yang ingin Anda buat? (berubah / dibunuh / dikonfirmasi / tidak ada)
3. Jika "tidak ada," apakah tetap berguna, atau kebisingan? (berguna / kebisingan)

Skor: hitung "berubah," "dibunuh," dan "dikonfirmasi" sebagai kemenangan dampak keputusan. "Berguna" adalah kemenangan lemah. "Tidak ada / kebisingan" dan "tidak ingat" adalah kekalahan. Bagi kemenangan dengan total untuk mendapatkan persentasenya.

Mode kegagalan. Anda hanya akan mengaudit pemangku kepentingan favorit Anda. Langkah balasan: daftar audit berasal dari sistem permintaan, bukan dari intuisi Anda. Sampel acak, meskipun itu menyakitkan.

3. Penggunaan Dasbor

Penonton aktif mingguan dibagi total penonton yang ditetapkan, per dasbor. Ditetapkan berarti "orang yang Anda beri tautannya" atau "orang dalam grup yang berhak." Aktif berarti "memuat dasbor setidaknya sekali dalam 7 hari terakhir."

Kisaran target. 40% atau lebih untuk dasbor mana pun yang Anda sebut "inti." Di bawah 10% selama 60 hari berturut-turut, dasbor diarsipkan. Tidak ada pengecualian, termasuk yang ditugaskan oleh VP Anda dan dilupakan.

Cara mengukur. Sebagian besar alat BI (Looker, Tableau, Metabase, Mode, Hex) mengekspos ini di panel admin atau melalui log audit. Jika milik Anda tidak, catat muatan dasbor ke tabel penggunaan sendiri dengan hit sisi server. Pekerjaan satu Sabtu sore, maksimal.

Mode kegagalan. Perambatan "ditetapkan." Anda memberi 200 orang akses ke dasbor yang digunakan 6 orang dan penyebut Anda menghancurkan rasionya. Langkah balasan: definisikan "ditetapkan" sebagai grup yang berhak pada saat pembuatan dasbor, bukan siapa pun yang mewarisi akses melalui grup SSO kemudian. Dan jalankan pembersihan akses triwulanan.

4. NPS Pemangku Kepentingan

Survei 1 pertanyaan kepada 8-15 orang yang benar-benar Anda layani, dijalankan setiap kuartal: "Seberapa besar kemungkinan Anda merekomendasikan bekerja dengan tim analitik kepada rekan, pada skala 0-10?" Ditambah satu pertanyaan terbuka lanjutan: "Apa satu hal yang harus kami ubah?"

Kisaran target. +30 atau lebih baik (NPS = % promotor minus % detractor, di mana 9-10 adalah promotor, 0-6 adalah detractor, 7-8 adalah pasif). Di bawah 0 berarti pemangku kepentingan Anda lebih suka menggunakan Sheets. Di atas +50 berarti Anda luar biasa atau hanya survei teman-teman Anda.

Cara mengukur. Google Form, Typeform, apa pun. Kirimkan pada Senin pertama kuartal baru, tutup pada hari Jumat. Baca setiap komentar terbuka sendiri. Jangan delegasikan bacaan ke manajer Anda. Komentar adalah data sebenarnya, dan mereka tidak bisa diterjemahkan.

Pertama kali saya menjalankan NPS pemangku kepentingan, saya mendapat skor +12 dan itu menyakitkan. Seorang PM menulis "cepat tapi saya tidak mempercayai angkanya." Komentar itu mengubah cara saya membangun pemeriksaan rekonsiliasi selama setahun. Skornya kurang berguna dari kalimat di bawahnya, yang merupakan aturan dengan NPS.

Mode kegagalan. Bias sampel. Anda hanya survei orang yang Anda kirimkan setiap minggu, dan melewatkan eksekutif yang tidak meminta apa pun dalam 90 hari karena ia menyerah pada Anda. Langkah balasan: sampelnya adalah "orang yang memiliki permintaan terbuka atau tertutup dalam 6 bulan terakhir," bukan "orang yang saya kirimkan." Jika pemangku kepentingan menjadi tenang, itu informasi, dan survei adalah cara Anda mengetahuinya.

5. Usia Tumpukan Pekerjaan Ad Hoc

Usia rata-rata permintaan ad hoc yang saat ini terbuka, dalam hari kerja.

Kisaran target. Di bawah 14 hari. Apa pun di atas 45 hari adalah sinyal kematian-oleh-seribu-luka. Tiket-tiket itu tidak akan diselesaikan, tapi mereka juga tidak ditutup, dan setiap pemangku kepentingan yang memilikinya diam-diam kehilangan kepercayaan pada tim.

Cara mengukur. Tampilan di Jira atau Linear yang memfilter status != ditutup dan jenis konten = ad hoc. Urutkan berdasarkan usia. Tarik median-nya setiap minggu.

Mode kegagalan. Menutup tiket-tiket lama secara massal sehari sebelum snapshot metrik. Langkah balasan: lacak "tiket berusia >45 hari, ditutup tanpa pengiriman" sebagai metrik sampingan. Jika melonjak, Anda membersihkan lemari, bukan pekerjaan.

Diagnostik "Penggunaan Tinggi tapi Dampak Keputusan Rendah"

Sekarang metrik-metrik mulai bekerja bersama. Dasbor dengan 200 penonton aktif mingguan dan nol keputusan yang disebutkan dalam audit dampak bukan dasbor yang berhasil. Itu pajangan dinding. Pajangan dinding yang indah. Pajangan dinding yang mahal. Tetap pajangan dinding.

Diagnostiknya terlihat seperti ini. Tiga sinyal, semuanya diperlukan:

1. Penggunaan dasbor tinggi (>40% aktif mingguan).
2. Dampak keputusan untuk analisis yang terkait dengan dasbor itu rendah (<20% dari sampel audit menyebutkan keputusan).
3. KPI bisnis yang dilacak stagnan atau bergerak ke arah yang salah.

Ketika ketiganya benar, Anda telah membangun artefak pemeriksaan status, bukan artefak dukungan keputusan. Orang melihatnya seperti orang melihat aplikasi cuaca, untuk merasa terinformasi daripada untuk bertindak. KPI board stagnan, dasbor sibuk, tidak ada yang berubah.

Tiga langkah untuk memperbaikinya, berurutan dari seberapa agresif Anda ingin bersikap:

• Hapus dasbor, ganti dengan memo bulanan. Memo 1 halaman memaksa interpretasi. Dasbor membiarkan orang memutuskan artinya sesuai harapan mereka.
• Masukkan pertanyaan keputusan ke dalam dasbor itu sendiri. Di bagian atas halaman: "Jika metrik ini turun di bawah X minggu ini, kami akan melakukan Y." Tiba-tiba dasbor memiliki gigi, dan seseorang memiliki Y-nya.
• Pindahkan dari dasbor ke peringatan Slack. Dasbor statis bersifat pull. Peringatan bersifat push. Push hanya menyala ketika ada sesuatu yang membutuhkan keputusan, yang merupakan satu-satunya saat melihat data itu penting.

Diagnostik juga berjalan terbalik. Penggunaan rendah + dampak keputusan tinggi = dasbor yang digunakan satu atau dua eksekutif untuk membuat keputusan nyata. Jangan hapus yang itu. Meskipun rasio penggunaan 4%, empat orang itu adalah seluruh alasan dasbor itu ada.

Pola Slide QBR

Satu slide. Lima angka, kuartal lalu dibandingkan kuartal ini, ditambah tiga keputusan bernama yang dipindahkan oleh analitik. Tidak ada grafik metrik semu. Tidak ada Sankey. Tidak ada diagram "perjalanan kedewasaan data." Audiens eksekutif memiliki 90 detik perhatian untuk fungsi Anda dan Anda akan menghabiskan 60 detiknya pada grafik pertumbuhan kueri SQL, yang tidak bisa dipulihkan.

Inilah format yang saya gunakan. Judul di atas: "Hasil Analitik Q[N]."

Di bawah tabel, tiga poin penting. Judul: "Keputusan yang dipindahkan analitik kuartal ini."

• "Menghentikan rencana ekspansi EU (14 Apr). Analisis tier harga menunjukkan TAM di bawah 2 juta euro pada ICP kami saat ini."
• "Mengarahkan ulang model wilayah SDR (3 Mar). Analisis cakupan menemukan 31% kapasitas terbuang di TX/CA."
• "Menyetujui pembangunan layanan mandiri dukungan (22 Mar). Simulasi defleksi tiket memproyeksikan penghematan 18%, payback 8 bulan."

Tanggal, keputusannya, analisisnya. Itulah slide-nya. Seluruh slide. CFO dapat membacanya dalam 20 detik, VP data memiliki pembelaan yang bisa dikutip ke atas, dan tim BA memiliki tolok ukur yang akan mereka penuhi kuartal depan atau memiliki percakapan sulit tentang alasannya.

Yang tidak ada di slide: jumlah dasbor, volume kueri, "baris SQL yang ditulis," tiket ditutup, reaksi Slack di #data-help, jam pelatihan yang disampaikan, model dbt yang ditambahkan, desain ulang skema yang dikirimkan. Setiap satu dari itu adalah metrik semu.

Jebakan Metrik Semu

Masing-masing dari ini dipromosikan sebagai metrik di suatu tempat. Masing-masing memberi penghargaan pada perilaku yang salah.

Jumlah dasbor. Berkorelasi dengan pertumbuhan yang tidak terkontrol, bukan nilai. Tim yang mengirimkan 80 dasbor setahun hampir selalu memiliki masalah penggunaan pada 60 di antaranya. Jika metrik naik, pekerjaan turun.

Volume kueri. Berkorelasi dengan ketidakefisienan. BA yang menjalankan 1.200 kueri bulan ini entah buruk dalam SQL atau tidak mewujudkan model yang seharusnya diwujudkan. Volume naik berarti biaya naik, bukan wawasan naik.

Baris SQL. Korelasi terbalik dengan keterampilan. BA senior menulis kueri 40 baris yang ditulis junior sebagai 400 baris. Memberi penghargaan pada jumlah baris berarti memberi penghargaan pada junior.

Tiket ditutup. Dua mode kegagalan. Pertama, Anda menutup tiket lama untuk menggelembungkan angkanya. Kedua, Anda bias terhadap tiket mudah karena mereka menutup lebih cepat, yang berarti permintaan sulit membusuk di tumpukan pekerjaan.

Reaksi Slack di #data-help. Bias seleksi sampai ekstrem. Anda hanya mendapat reaksi pada jawaban yang sudah ditanggapi orang dengan antusias, yang membiaskan sampel Anda ke arah pekerjaan yang populer, yang merupakan kebalikan dari dampak.

Pola di seluruh lima: masing-masing mengukur aktivitas. Tidak satu pun yang mengukur hasil. Lima metrik nyata mengukur hasil, itulah mengapa lebih sulit, lebih lambat, dan satu-satunya yang bertahan dalam tinjauan anggaran.

Apa yang Harus Dilakukan Bulan Ini

Jangan terapkan kelimanya sekaligus. Anda akan memanipulasinya, pemangku kepentingan Anda akan tidak mempercayai peluncurannya, dan slide QBR tidak akan memiliki cukup data tren kuartal untuk berarti sesuatu.

Sebagai gantinya, pilih dua:

1. Time-to-insight. Paling murah untuk diukur (dua timestamp), sinyal tertinggi dalam 30 hari pertama, paling sulit diperdebatkan.
2. NPS Pemangku Kepentingan. Satu email, 8-15 orang, komentar kualitatif yang mengubah cara Anda bekerja selama setahun. Rasa sakit +12 itu lebih berharga dari 18 bulan jumlah dasbor.

Jalankan keduanya selama satu kuartal. Di akhir kuartal itu, tambahkan dampak keputusan (audit membutuhkan sekitar 3 jam waktu pemangku kepentingan, rencanakan untuk itu). Kuartal berikutnya, tambahkan penggunaan dasbor. Kuartal setelahnya, tambahkan usia tumpukan pekerjaan ad hoc. Pada akhir dua kuartal Anda memiliki sistem pengukuran yang berfungsi, tiga slide QBR data tren, dan jawaban yang dapat dipertahankan untuk "apa yang diubah oleh pekerjaan Anda."

Intinya adalah ini. Jika Anda tidak memilih metriknya, seseorang yang lain akan memilih, dan mereka akan memilih "headcount dibagi anggaran" karena itulah metrik yang sudah mereka gunakan untuk segalanya. Business Analyst yang mengukur pekerjaan mereka sendiri terlebih dahulu adalah yang masih di kursi pada penurunan berikutnya. Semua orang lain sibuk.

Pelajari Lebih Lanjut

• Peta Pemangku Kepentingan BA: Siapa yang Sebenarnya Memutuskan
• Menghapus Dasbor Zombie Tanpa Politik
• Menulis One-Pager Analis yang Dibaca Eksekutif
• Cara BA Mengatakan Tidak Tanpa Membakar Jembatan