Bahasa Indonesia

30/60/90 Hari Pertama Anda sebagai Data Scientist Baru

Pukul 09.47 di hari ketiga. Anda baru saja mulai memahami channel Slack mana yang penting. Kopi Anda masih panas. Sebuah pesan masuk dari seseorang yang Anda temui sekilas saat onboarding: "hei, bisa tolong cek model churn-nya? sudah bermasalah cukup lama."

Selamat. Anda baru saja mewarisi 18 bulan keputusan orang lain. Dua pemilik sebelumnya, tidak ada dokumentasi yang layak dibaca, kumpulan fitur yang tidak dipahami siapa pun sepenuhnya, dan seorang CFO yang sudah enam minggu bertanya kapan "investasi AI" ini akan terbayar. Model tersebut terakhir dilatih ulang pada bulan Agustus. Laptop Anda bahkan belum sepenuhnya diatur.

Inilah pengalaman hari ketiga yang sesungguhnya bagi sebagian besar Data Scientist baru di B2B SaaS, dan godaannya sangat kuat: rilis sesuatu dengan cepat, apa pun, agar terlihat seperti Anda layak mendapatkan posisi Anda. Jangan lakukan itu. 90 hari pertama adalah saat Anda menetapkan narasi tentang apakah kepemimpinan melihat Anda sebagai penggerak pendapatan atau sebagai item anggaran berikutnya yang akan dipotong ketika dewan bertanya di mana headcount membengkak. Dan peran ilmu data dipotong lebih cepat dari fungsi teknis lainnya ketika kisah nilai bisnisnya tidak jelas.

Berikut adalah rencana 90 hari yang tidak memerlukan kepahlawanan, tidak bergantung pada kejeniusan Anda, dan tidak berakhir dengan Anda memiliki model churn orang lain yang rusak sebagai KPI Anda.

Mengapa Audit Lebih Unggul dari Membangun (dan Mengapa Kebanyakan Rekrutan DS Baru Salah Memahami Ini)

Kesalahan terbesar yang dibuat Data Scientist baru adalah merilis model baru di minggu kedua agar terlihat produktif. Rasanya luar biasa. Itu juga berarti Anda kini memiliki sesuatu yang konteks bisnisnya belum Anda pahami, Anda telah memberi sinyal kepada pemangku kepentingan bahwa "merilis model" adalah proposisi nilai Anda (itu bukan), dan Anda telah melewatkan satu-satunya jendela yang pernah Anda miliki untuk mengajukan pertanyaan bodoh tanpa penilaian.

Anda hanya mendapatkan satu masa bulan madu. Gunakan untuk mendengarkan, bukan membangun. Kabar baiknya adalah mendengarkan menghasilkan artefak nyata (memo audit, peta pemangku kepentingan, lembar contekan gudang data) yang terlihat sama produktifnya bagi manajer Anda seperti model setengah matang, dan tidak menghasilkan utang teknis.

Hari 1-30: Audit dan Dengarkan

Tiga puluh hari pertama memiliki satu tujuan: membangun peta yang dapat dipertahankan tentang apa yang ada, apa yang rusak, dan apa yang benar-benar diinginkan orang. Tidak ada model baru. Tidak ada "eksperimen cepat." Tidak ada janji.

Inventarisasi Setiap Model di Produksi

Buat spreadsheet. Satu baris per model yang berjalan di mana saja: produksi, notebook terjadwal, hal itu di Airflow yang tidak ada yang mau mengakuinya sebagai model. Untuk setiap satu, isi tiga kolom:

  • Kinerja vs kinerja yang diklaim. Apa yang dikatakan kartu model atau ulasan kuartalan terakhir tentang model tersebut (AUC, precision pada decile teratas, MAPE, apa pun)? Apa yang sebenarnya dilakukan pada data 90 hari terakhir? Anda akan menemukan setidaknya satu model dengan kesenjangan yang memalukan. Model churn biasanya yang paling parah. Penyimpangan data sebesar 15-25% pada fitur utama adalah hal normal di B2B SaaS di mana campuran pelanggan bergeser setiap kuartal.
  • Kewajaran dan penyimpangan. Apakah distribusi input masih dekat dengan distribusi pelatihan model? Untuk model tabular, pemeriksaan Population Stability Index (PSI) cepat pada lima fitur teratas biasanya memberi tahu Anda segalanya. PSI di atas 0,25 berarti model beroperasi di luar distribusi pelatihannya dan prediksinya adalah kebisingan yang berpakaian seperti sinyal.
  • Nilai bisnis aktual. Siapa yang menggunakan hasilnya? Keputusan apa yang digerakkannya? Apa yang akan terjadi jika model mengembalikan nilai konstan besok? Jika jawabannya adalah "jujur saja, mungkin tidak ada," tuliskan itu. Anda akan membutuhkannya nanti.

Tiga hingga lima model adalah hal yang normal. Delapan atau lebih berarti seseorang membangun untuk terlihat sibuk dan Anda telah mewarisi sebuah kuburan.

Ikuti Lima Sinkronisasi Pemangku Kepentingan

Bukan lima percakapan. Lima sinkronisasi berulang yang Anda ikuti sebagai pengamat diam selama dua atau tiga pertemuan pertama sebelum mulai berkontribusi. Pilih satu dari masing-masing:

  • Sales ops (akurasi perkiraan, cakupan pipeline, keluhan lead scoring)
  • Customer success (sinyal churn, ekspansi, hubungan NPS-ke-pendapatan)
  • Produk (adopsi fitur, aktivasi, apa yang mereka uji A/B dengan buruk)
  • Keuangan (peramalan pendapatan, unit ekonomi, model bisnis aktual CFO)
  • Rekayasa / platform data (biaya gudang, keandalan pipeline, apa yang sedang bermasalah)

Anda mendengarkan dua hal: keputusan mana yang dibuat berdasarkan intuisi yang bisa dibuat berdasarkan data, dan keputusan mana yang dibuat berdasarkan data yang sebenarnya salah. Yang kedua lebih umum dari yang diakui orang. Sales ops yang menjalankan perkiraan pipeline dari laporan Salesforce yang menghitung ganda pembaruan adalah salah satu kejadian yang paling sering ditemui di sebagian besar perusahaan B2B SaaS.

Pelajari di Mana Ketidakakuratan Tersembunyi di Gudang Data

Setiap gudang data memiliki lapisan kebenaran kecil yang menyebalkan. Kolom yang diganti namanya tiga kali. Baris yang dihapus lunak yang secara diam-diam diikutsertakan oleh alat BI. Bug zona waktu yang membuat Senin di Singapura muncul sebagai Minggu. Bidang revenue_usd yang sebelum diskon di satu tabel dan sesudah diskon di tabel di sampingnya.

Habiskan satu minggu bersama siapa pun yang mengelola lapisan analitik. Bawa buku catatan. Tanyakan kepada mereka: "Apa yang Anda ingin orang tahu sebelum mereka mengkueri tabel ini?" Anda akan mendapat nilai lebih dari pertanyaan itu daripada dari tiga minggu membaca dokumentasi dbt.

Pada hari ke-30 Anda seharusnya memiliki: spreadsheet audit, catatan dari lima sinkronisasi pemangku kepentingan, dokumen satu halaman "jebakan gudang data," dan nol model baru yang sedang dikerjakan.

Hari 31-60: Hapus, Rilis, Usulkan

Sekarang Anda mulai menghasilkan pekerjaan yang terlihat. Tiga hasil kerja, dengan urutan ini.

Hapus Satu Model yang Rusak, Secara Publik, dengan Memo

Ini terdengar membatasi karier. Sebaliknya. Menghapus model yang rusak adalah hal tunggal paling berdampak yang dapat Anda lakukan sebagai DS baru, karena:

  1. Ini membebaskan komputasi, perhatian headcount, dan bandwidth pemangku kepentingan.
  2. Ini menunjukkan bahwa Anda memiliki penilaian, bukan sekadar throughput.
  3. Ini menetapkan bahwa "merilis model" bukanlah kebajikan jika modelnya salah.

Pilih pelanggar terburuk dari audit Anda. Kandidat klasiknya adalah model churn yang telah dilatih ulang dua kali dalam 18 bulan, memiliki penyimpangan fitur 22%, tidak mendorong aksi retensi aktual (staf CS mengabaikan skor tersebut), dan menghabiskan $400/bulan untuk komputasi. Tulis memo satu halaman: apa yang diklaim model, apa yang sebenarnya dilakukan, berapa biayanya, keputusan apa yang seharusnya digerakkannya, apa yang Anda usulkan sebagai penggantinya (sering kali: "laporan cohort sederhana, diperbarui setiap minggu").

Kirimkan memo ke manajer Anda dan pemangku kepentingan aslinya. Biarkan mereka merespons. Sembilan dari sepuluh kali mereka akan berkata "ya, kami sudah berhenti melihatnya berbulan-bulan yang lalu." Sekarang model itu telah dihapus dengan jejak tertulis, dan Anda telah menunjukkan kepemimpinan bahwa Anda bersedia memotong pekerjaan Anda sendiri ketika pekerjaan itu tidak memberikan hasil.

Template singkat yang berhasil:

Memo: Penghentian model [nama model]
Penulis: [Anda]
Tanggal: [tanggal]

Yang dilakukan hari ini: [satu kalimat]
Yang diklaim saat diluncurkan: [metrik dan nilai]
Yang sebenarnya dilakukan pada 90 hari terakhir: [metrik dan nilai]
Biaya komputasi: [$/bulan]
Keputusan yang digerakkannya: [daftar, jujur jika jawabannya "tidak ada"]
Rekomendasi: Hentikan pada [tanggal]. Ganti dengan [hal yang lebih sederhana atau tidak ada].
Risiko jika tidak dihentikan: [pemeliharaan berkelanjutan + kepercayaan palsu pada prediksi usang]

Itu saja. Satu halaman. Tidak ada lampiran.

Rilis Satu Analisis Kemenangan Cepat yang Benar-Benar Diminta Pemangku Kepentingan

Kembali ke catatan sinkronisasi pemangku kepentingan Anda. Temukan permintaan terkecil dan paling konkret, yang disebutkan orang secara selintas, dengan keputusan yang jelas terlampir. Bukan "kita harus menggunakan AI untuk X." Sesuatu seperti: "Saya ingin tahu langkah onboarding mana yang menyebabkan paling banyak drop-off dalam 14 hari pertama."

Kerjakan itu. Laporan yang ramah Slack. Maksimal tiga grafik. Rekomendasi di paragraf pertama. Libatkan orang yang meminta, ditambah manajer mereka. Anda tidak mencoba memenangkan kompetisi Kaggle. Anda membuktikan bahwa Anda bisa mengubah pertanyaan nyata menjadi jawaban nyata dalam kurang dari sepuluh hari kerja.

Usulkan Roadmap ML 6 Bulan yang Terkait dengan 2-3 Metrik Bisnis

Pada hari ke-60 Anda seharusnya memiliki cukup konteks untuk menyusun roadmap. Dua hingga tiga metrik bisnis, maksimal. Untuk setiap satu, hipotesis 1-2 kalimat, pendekatan model atau analisis, estimasi upaya (kecil / sedang / besar), dan yang paling penting, kriteria penghentian (apa yang akan membuat Anda menghentikan pekerjaan ini).

Kriteria penghentian adalah yang memisahkan roadmap dari daftar keinginan. "Jika pada minggu ke-8 peningkatan baseline di bawah 5%, kita berhenti dan realokasi" adalah baris roadmap. "Bangun model churn" bukanlah baris roadmap.

Bagikan roadmap kepada eksekutif yang mempekerjakan Anda. Dapatkan masukan kritis. Revisi. Tujuannya adalah agar mereka dapat mendeskripsikan dua kuartal Anda berikutnya dalam satu kalimat kepada siapa pun di C-suite.

Hari 61-90: Miliki Satu Metrik, Presentasikan, dan Rencanakan H2

Tiga puluh hari terakhir adalah tentang beralih dari "DS baru" ke "orang yang memiliki X."

Miliki Satu Metrik Bisnis yang Terkait dengan Model

Phrasing yang penting di sini: Anda memiliki metrik, bukan model. Jika Anda memiliki "model churn," Anda telah mewarisi identitas orang lain dan akan dinilai berdasarkan sesuatu yang tidak Anda rancang. Jika Anda memiliki "retensi logo 12 bulan di segmen SMB," Anda bisa menggunakan kombinasi model, analisis, dan perubahan operasional apa pun yang menggerakkan angkanya.

Pilih satu. Hanya satu. Itu seharusnya:

  • Metrik yang sudah dilacak oleh keuangan dan tim eksekutif (jangan buat yang baru)
  • Dalam lingkup pengaruh Anda (model menyentuhnya, tetapi juga workflow CS, penetapan harga, dan produk)
  • Dapat diukur dalam jendela 60-90 hari, bukan 12 bulan

Pilihan bagus yang umum untuk DS baru di B2B SaaS: tingkat churn SMB, konversi lead-ke-opp, konversi uji-coba-gratis-ke-berbayar, pendapatan ekspansi per CSM. Pilihan buruk yang umum: total pendapatan (terlalu banyak masukan, Anda tidak akan pernah mendapat kredit), NPS (terlalu berisik), "akurasi model" (bukan metrik bisnis).

Presentasikan Laporan 90 Hari kepada Eksekutif yang Mempekerjakan Anda

Pertemuan 15 menit. Deck lima slide. Struktur yang berhasil:

  1. Yang saya temukan. Audit, dalam satu grafik (model yang dihentikan, model yang sehat, model yang perlu dipantau).
  2. Yang saya rilis. Analisis kemenangan cepat, memo penghapusan, metrik yang kini saya miliki.
  3. Yang saya pelajari tentang bisnis. Dua atau tiga hal yang mengejutkan Anda (masalah kualitas data, keputusan yang tidak dibuat berdasarkan data, permintaan yang terus muncul).
  4. Roadmap. Rencana 6 bulan Anda, dengan kriteria penghentian.
  5. Yang saya butuhkan. Headcount, infrastruktur, akses pemangku kepentingan, keputusan.

Slide lima adalah yang paling penting dan paling sering dilewatkan. Jika Anda tidak bisa mengartikulasikan apa yang Anda butuhkan untuk berhasil dalam 90 hari berikutnya, eksekutif akan mengasumsikan Anda tidak membutuhkan apa pun, dan kemudian mereka akan bertanya-tanya di bulan enam mengapa kemajuan terhenti.

Usulkan Rencana ML H2 dengan Headcount, Infrastruktur, dan Kriteria Penghentian

Ini adalah roadmap dari hari ke-60, kini dipertajam dengan tiga bulan konteks. Tiga hal masuk ke rencana H2 yang tidak ada dalam roadmap awal:

  • Matematika headcount. "Untuk menjalankan rencana ini saya membutuhkan X hari rekayasa dan Y hari rekayasa data per kuartal. Saat ini saya memiliki Z. Ini adalah kesenjangannya." Jadilah spesifik. ML engineers itu mahal. Kapasitas rekayasa data adalah hambatan pada 60% pekerjaan DS di sebagian besar toko B2B SaaS, dan mengatakannya dengan lantang sejak dini melindungi Anda dari disalahkan atas masalah pengiriman yang bukan milik Anda.
  • Kebutuhan infrastruktur. Penyimpanan fitur? Pelacakan eksperimen? Platform inferensi terkelola? Daftarkan dengan perkiraan biaya kasar. CFO lebih suka melihat item baris $30 ribu/tahun sekarang daripada kejutan $30 ribu/tahun di Q3.
  • Kriteria penghentian, diperbarui. Enam bulan pekerjaan selalu mengungkapkan taruhan mana yang salah. Tuliskan kapan Anda akan berhenti, bukan hanya kapan Anda akan mulai.

Percakapan Ketika CFO Bertanya tentang ROI

Percakapan ini akan datang. Mungkin di minggu ke-5 atau ke-6. Biasanya berbunyi seperti: "Jadi kapan kita mulai melihat hasil dari investasi AI?"

Jawaban yang salah: "Ini adalah investasi jangka panjang." "AI butuh waktu." "Kami masih dalam fase eksperimentasi." Semua ini benar. Tidak satu pun yang berhasil. CFO mengajukan pertanyaan yang sah dan layak mendapat jawaban yang sah.

Jawaban yang berhasil:

"Saat ini saya dalam mode audit. Saya menemukan dua model yang menghabiskan sekitar $X/bulan dan tidak mendorong keputusan apa pun, dan saya akan menghentikannya pada akhir bulan. Pada hari ke-90 saya akan memiliki metrik churn SMB dan memiliki roadmap dengan dua atau tiga taruhan, masing-masing terkait dengan metrik bisnis yang sudah Anda lacak, masing-masing dengan kriteria penghentian. Jawaban jujur untuk 'kapan kita melihat hasilnya' adalah: pada akhir Q3 jika saya benar, dan kita akan tahu cukup awal untuk mengubah arah jika saya salah."

Itulah pembingkaiannya. Tindakan jangka pendek yang konkret, satu metrik yang akan Anda miliki, sebuah tanggal, dan rencana untuk gagal cepat jika taruhan tidak berhasil. CFO merespons dengan baik terhadap kriteria penghentian karena mereka belum pernah mendengar Data Scientist menyebutkannya sebelumnya.

Kesalahan Umum yang Akan Diam-diam Menggagalkan 90 Hari Pertama

Beberapa jebakan yang menangkap bahkan rekrutan DS yang berpengalaman:

  • Membangun di minggu kedua untuk "terlihat produktif." Anda akan mewarisi kesalahan atas model itu selamanya. Tahan diri.
  • Berkata ya terhadap permintaan "sebuah AI" tanpa mencakup keputusan aktualnya. Ketika VP berkata "bisakah kita menggunakan AI untuk [hal yang tidak jelas]?", jawaban yang tepat adalah "keputusan apa yang akan Anda buat secara berbeda dengan hasilnya?" Jika mereka tidak bisa menjawab, proyek itu belum ada. Jangan menawarkan diri untuk membangunnya bagaimanapun. (Mencakup permintaan AI yang tidak jelas membahas lebih dalam di sini.)
  • Mewarisi model churn yang rusak sebagai KPI Anda. Modelnya adalah alat. Retensi adalah metriknya. Miliki metriknya.
  • Mengabaikan pajak rekayasa data. 60% waktu Anda di tahun pertama akan dihabiskan untuk plumbing data: memperbaiki pipeline, men-debug join, memvalidasi bahwa angka gudang data cocok dengan angka alat BI. Anggarkan untuk itu. Jangan berpura-pura angkanya akan 20%.

Mengukur Keberhasilan pada Hari ke-90

Tes jujur dari 90 hari pertama yang berhasil bukanlah "apakah Anda merilis model." Itu adalah:

  • Anda bisa menyebutkan tiga metrik bisnis teratas dan model mana yang menyentuh masing-masing
  • Satu model yang rusak sudah dihentikan, dengan jejak tertulis
  • Satu analisis kemenangan cepat dirilis dan mendapat kredit dari pemohonnya
  • Anda memiliki satu metrik, bukan lima
  • Eksekutif yang mempekerjakan Anda dapat mendeskripsikan roadmap Anda dalam satu kalimat

Jika kelima hal itu benar pada hari ke-91, Anda siap untuk tahun yang kuat. Data Scientist yang kelelahan pada bulan sembilan hampir selalu membangun model baru di bulan pertama dan menghabiskan delapan bulan berikutnya mempertahankannya.

Pelajari Lebih Lanjut