Apakah Validated Learning?

Apakah Validated Learning?: Startup belajar apabila tingkah laku pelanggan sebenar menguji sesuatu kepercayaan perniagaan dan mengubah apa yang dilakukan pasukan seterusnya.

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Validated learning ialah pengajaran tentang perniagaan anda yang telah disahkan oleh bukti daripada pelanggan sebenar, bukan oleh pendapat, ramalan atau semangat pasukan. Ia unit kemajuan dalam kaedah Lean Startup. Startup yang telah menghantar tiga keluaran tetapi tidak mempelajari apa-apa tentang apa yang pelanggan sanggup bayar tidak banyak mara. Startup yang tidak menghantar apa-apa tetapi telah membuktikan, melalui tingkah laku pelanggan, bahawa satu kepercayaan teras itu salah, telah mara.

Frasa ini datang daripada Eric Ries, dan ia salah satu idea yang paling kerap dipetik tetapi paling jarang diamalkan dalam pembinaan syarikat peringkat awal. Orang mengangguk setuju, kemudian kembali menjejaki pendaftaran dan menghantar ciri. Panduan ini menerangkan maksud istilah itu, bagaimana ia berbeza daripada pengukuran biasa, cara mereka bentuk eksperimen yang menghasilkan pengajaran tervalidasi, dan perangkap yang diam-diam menukar "pembelajaran" kembali menjadi meneka.

Maksud validated learning

Pada halaman prinsip Lean Startup, Ries membandingkan validated learning dengan cara industri lain mengukur kemajuan. Perbandingannya ialah kemajuan dalam pembuatan diukur melalui penghasilan barangan berkualiti tinggi, manakala unit kemajuan bagi Lean Startup ialah validated learning, yang disebutnya kaedah yang ketat untuk menunjukkan kemajuan apabila seseorang tertanam dalam tanah ketidakpastian yang melampau.

Dua idea terkandung dalam takrifan itu.

Kemajuan ialah perubahan dalam apa yang anda tahu. Syarikat baharu belum tahu siapa pelanggannya, berapa yang sanggup mereka bayar, atau bagaimana menjangkau mereka. Menulis kod, mengambil pekerja dan menggilap jenama ialah aktiviti. Ia hanya dikira sebagai kemajuan jika ia mengurangkan salah satu daripada perkara yang tidak diketahui itu.

"Tervalidasi" bermaksud diuji terhadap tingkah laku. Dalam catatan terdahulu tentang validated learning mengenai pelanggan, Ries menerangkan validasi sebagai data yang menunjukkan bahawa risiko utama dalam perniagaan telah ditangani oleh produk semasa. Data itu tidak semestinya hasil jualan. Ia mungkin engagement, retention atau penyebaran viral, apa sahaja yang menceritakan kisah ekonomi yang boleh dipercayai tentang perniagaan itu.

Perbezaannya mudah dirasai dengan dua pernyataan tentang produk yang sama:

  • "Pelanggan sukakannya. Kami mendapat maklum balas yang hebat dalam demo kami."
  • "Daripada 40 akaun percubaan yang dibuka pada Mac, 14 masih menggunakannya setiap minggu pada Mei, dan 9 daripadanya meminta untuk diinvois."

Yang pertama ialah perasaan. Yang kedua ialah pengajaran yang boleh disemak oleh orang lain, dan ia menunjuk kepada satu keputusan. Kedua-duanya tentang produk yang sama, dan hanya satu yang tervalidasi.

Fakta Utama: Validated Learning

  • Validated learning ialah salah satu prinsip kaedah Lean Startup, dan laman rasmi menggelarnya unit kemajuan bagi Lean Startup.
  • Laman yang sama menerangkan aktiviti asas startup sebagai menukar idea kepada produk, mengukur bagaimana pelanggan bertindak balas, dan mempelajari sama ada hendak pivot atau bertahan.
  • Ries menerangkan validasi sebagai data bahawa risiko utama dalam perniagaan telah ditangani oleh produk semasa, dan mengatakan ia tidak semestinya hasil jualan.
  • Ries berhujah bahawa vanity metric tidak mempunyai kausaliti: nombor besar tidak memberitahu anda apa yang menyebabkannya atau bagaimana mendapatkan lebih banyak lagi.
  • Percubaan rawak ke atas 116 startup Itali mendapati pengasas yang dilatih menguji hipotesis seperti saintis berprestasi lebih baik dan lebih cenderung untuk pivot, tanpa lebih cenderung berhenti awal.
  • Tiada satu format piawai untuk eksperimen validated learning. Ambang dan metrik berbeza mengikut perniagaan dan peringkat.

Bagaimana ia berbeza daripada pengukuran biasa

Kebanyakan pasukan sudah mengukur sesuatu. Perbezaannya ialah untuk apa pengukuran itu.

Pengukuran vs Validated Learning: Dashboard melaporkan apa yang berlaku. Hipotesis dan ambang yang diisytiharkan terlebih dahulu menukar keputusan pelanggan kepada keputusan kekalkan, ubah atau henti.

Pengukuran biasa Validated learning
Titik permulaan Data yang kebetulan anda kumpulkan Kepercayaan yang anda mungkin silap tentangnya
Soalan "Bagaimana prestasi kita?" "Adakah kepercayaan khusus ini benar?"
Ditulis dahulu Jarang Ramalan dan garis lulus
Output lazim Dashboard Keputusan: kekalkan, ubah atau henti
Mod kegagalan Angka meningkat dan tiada siapa tahu sebabnya Ujian yang tidak mungkin gagal

Dashboard menunjukkan apa yang berlaku. Eksperimen validated learning menguji sama ada anda memahami sebabnya. Jika anda tidak dapat menyatakan lebih awal keputusan apa yang akan mengubah rancangan anda, anda sedang melapor, bukan belajar.

Gelung build-measure-learn

Validated learning dihasilkan oleh satu gelung. Laman Lean Startup menyatakan aktiviti asas startup sebagai menukar idea kepada produk, mengukur bagaimana pelanggan bertindak balas, dan kemudian mempelajari sama ada hendak pivot atau bertahan. Artikel kami tentang kaedah Lean Startup merangkumi kaedah penuh. Inilah bahagian yang penting untuk topik ini.

Gelung Build-Measure-Learn: Mulakan dengan kepercayaan yang berisiko, bina ujian yang terkecil, perhatikan tingkah laku pelanggan, kemudian putuskan sama ada hendak bertahan atau pivot.

  1. Idea. Nyatakan kepercayaan yang penting, seperti "firma perakaunan kecil sanggup membayar untuk mengautomasikan pengumpulan dokumen pelanggan."
  2. Build. Buat perkara terkecil yang boleh mengujinya. Ia mungkin prototaip yang berfungsi, tetapi ia boleh juga halaman pendaratan, perkhidmatan concierge yang anda jalankan secara manual, atau lakaran yang anda tunjukkan langkah demi langkah kepada pelanggan. Produk minimum boleh hidup diukur saiznya oleh soalan, bukan oleh senarai ciri.
  3. Measure. Perhatikan apa yang pelanggan sebenar lakukan. Apa yang mereka lakukan ialah bukti yang lebih kuat daripada apa yang mereka katakan.
  4. Learn. Bandingkan keputusan dengan ramalan. Putuskan sama ada hendak meneruskan seperti dirancang atau mengubah sesuatu.

Perangkapnya ialah menganggap "build" sebagai matlamat. Gelung ini hanya menghasilkan validated learning jika "measure" dan "learn" diberi perhatian sama banyak seperti "build". Pasukan yang melangkaunya hanya menghantar, dan menghantar bukan belajar.

Ia juga membantu untuk merancang gelung secara terbalik. Tentukan apa yang perlu anda pelajari, kemudian pengukuran mana yang akan menunjukkannya, kemudian bina hanya sebanyak yang diperlukan oleh pengukuran itu. Susunan itulah sebab ujian andaian paling berisiko ialah pasangan yang begitu berguna: ia memilih kepercayaan yang hendak diuji dahulu.

Vanity metric berbanding actionable metric

Validated learning bergantung pada metrik yang boleh anda baca dengan jujur. Catatan Ries tentang mengapa vanity metric berbahaya membuat hujah itu. Contoh kegemarannya bagi vanity metric ialah "hits". Beliau mengatakan ia melanggar peraturan "metrik adalah manusia juga": ia mengira proses teknikal, bukan bilangan manusia.

Vanity vs Actionable Metrics: Jumlah kumulatif membodek. Retention kohort dan kadar penukaran mendedahkan sama ada perubahan telah mengubah tingkah laku pelanggan.

Bantahan keduanya berkaitan kausaliti. Jika anda mendapat sejuta hits bulan ini, apa yang menyebabkannya, dan bagaimana anda boleh menjana lebih banyak? Satu nombor besar tidak dapat menjawab kedua-duanya. Actionable metric ialah alternatifnya, dibina daripada sub-metrik yang menjawab soalan-soalan tersebut.

Jadual di bawah ialah rangka kami sendiri bagi idea ini, bukan petikan daripada Ries.

Vanity metric Alternatif actionable
Jumlah pendaftaran sehingga kini Bahagian pendaftaran minggu ini yang melengkapkan tindakan utama dalam 7 hari
Paparan halaman Penukaran lawatan-ke-percubaan, dipecahkan mengikut sumber trafik
Jumlah muat turun Pelanggan yang masih aktif 30 hari selepas pendaftaran, mengikut bulan pendaftaran
Hasil jualan bulan ini Hasil jualan daripada pelanggan yang diperoleh bulan ini, berbanding kos memperoleh mereka
Jumlah temu bual yang dijalankan Bahagian yang ditemu bual yang menerangkan masalah itu tanpa dipancing

Corak dalam lajur sebelah kanan ialah kohort dan kadar. Kumpulkan pelanggan mengikut masa mereka bermula, kemudian bandingkan kumpulan. Jika aliran onboarding baharu berfungsi, kohort yang melihatnya sepatutnya bertindak berbeza daripada kohort sebelumnya. Perbandingan itulah sumber bukti kausal. Jumlah berjalan tidak dapat memberikannya.

Innovation accounting

Perakaunan biasa mengukur perniagaan yang sudah wujud. Venture baharu tidak mempunyai asas yang stabil untuk dibandingkan. Laman Lean Startup membingkaikan innovation accounting sebagai tindak balas kepada perkara ini: untuk memperbaik hasil keusahawanan dan meminta pertanggungjawaban usahawan, anda perlu menumpukan pada cara mengukur kemajuan, cara menetapkan pencapaian dan cara mengutamakan kerja.

Dalam praktik, pasukan biasanya menstrukturkannya dalam tiga langkah. Ini cara biasa menerapkan idea itu, bukan spesifikasi rasmi:

  1. Tetapkan garis asas. Jalankan versi minimum produk atau tawaran dan rekodkan angka sebenar, seburuk mana pun. Itulah titik permulaan.
  2. Laraskan ke arah sasaran. Jalankan eksperimen yang cuba menggerakkan satu metrik daripada garis asas ke arah model yang anda perlukan supaya perniagaan berfungsi.
  3. Putuskan. Jika metrik bergerak, bertahan. Jika eksperimen berulang membiarkannya mendatar, model mungkin perlu berubah, iaitu soalan di sebalik pivot.

Inilah sebabnya validated learning tidak sama dengan "dipacu data". Matlamatnya bukan lebih banyak data. Ia senarai pendek nombor yang menunjukkan sama ada model perniagaan semakin hampir untuk berfungsi.

Cara mereka bentuk eksperimen validated learning

Eksperimen yang boleh digunakan muat dalam beberapa baris. Tulislah sebelum anda bermula.

Reka Bentuk Eksperimen Validated Learning: Tulis hipotesis, ujian pelanggan, metrik, ambang dan peraturan keputusan sebelum melihat keputusan.

  1. Hipotesis. Satu kepercayaan, dirumuskan supaya boleh salah. "Orang dalam segmen ini mengalami masalah ini cukup kerap untuk membayar bagi penyelesaian" boleh diuji. "Produk kami berguna" tidak boleh.
  2. Ujian. Tindakan terkecil yang menghasilkan tingkah laku sebenar daripada bakal pelanggan sebenar: temu bual yang berakhir dengan permintaan, halaman pendaratan dengan tawaran yang jelas, perkhidmatan manual, pilot berbayar.
  3. Metrik. Satu nombor yang akan anda baca dengan cara yang sama tidak kira siapa yang melihat. Pilih kadar berbanding jumlah.
  4. Ambang. Keputusan apa yang bermaksud teruskan, apa yang bermaksud henti, dan apa yang bermaksud "tidak muktamad, reka semula". Tetapkan ini sebelum anda melihat data.
  5. Had masa dan sampel. Berapa lama anda akan menjalankannya dan berapa ramai orang yang perlu dijangkau sebelum anda menilai.
  6. Peraturan keputusan. Apa yang akan anda lakukan bagi setiap hasil. Jika setiap hasil membawa kepada langkah seterusnya yang sama, eksperimen itu tidak memaklumkan apa-apa.

Berikut contoh hipotetikal, dengan angka rekaan untuk menunjukkan formatnya. Sebuah pasukan percaya firma perakaunan yang mempunyai kurang daripada 20 kakitangan sanggup membayar untuk mengautomasikan pengumpulan dokumen pelanggan.

Medan Entri
Hipotesis Firma perakaunan kecil kehilangan cukup masa mengejar dokumen pelanggan sehingga mereka akan komited kepada pilot berbayar
Ujian 25 perbualan dengan pemilik firma, setiap satu berakhir dengan tawaran pilot berbayar
Metrik Bilangan yang menerima tawaran pilot
Ambang 6 atau lebih daripada 25 bermaksud teruskan. Kurang daripada 3 bermaksud henti atau tukar segmen. Di antaranya, reka semula dan jalankan semula
Had masa Tiga minggu
Peraturan keputusan Teruskan: bina hanya apa yang diperlukan pilot. Henti: uji segmen atau masalah yang berbeza

Perhatikan bahawa ujian ini tidak melibatkan pembinaan perisian. Pembelajaran datang daripada meminta komitmen, bukan daripada prototaip. Untuk cara menjalankan perbualan itu sendiri, lihat customer discovery.

Bukti bahawa pendekatan saintifik membantu

Wajar bertanya sama ada menguji kepercayaan dengan cara ini benar-benar mengubah hasil. Salah satu daripada sedikit kajian terkawal tentang persoalan ini ialah kertas kerja Camuffo, Cordova, Gambardella dan Spina dalam Management Science, "A Scientific Approach to Entrepreneurial Decision Making: Evidence from a Randomized Control Trial".

Penulis menjalankan percubaan terkawal rawak dengan 116 startup Itali, mengumpulkan 16 titik data sepanjang kira-kira setahun. Kedua-dua kumpulan rawatan dan kumpulan kawalan menerima 10 sesi latihan am tentang mendapatkan maklum balas daripada pasaran dan menilai kebolehlaksanaan idea mereka. Startup yang dirawat juga diajar membina rangka kerja untuk meramalkan prestasi idea mereka dan menguji hipotesis mereka dengan ketat, seperti yang dilakukan saintis. Kumpulan kawalan mengikut gerak hati mereka sendiri.

Penulis melaporkan bahawa usahawan yang bertindak seperti saintis berprestasi lebih baik, lebih cenderung untuk pivot kepada idea yang berbeza, dan tidak lebih cenderung berhenti pada peringkat awal. Mereka menerangkan mekanismenya sebagai ketepatan yang bertambah baik: pendekatan saintifik mengurangkan kemungkinan meneruskan projek dengan pulangan positif palsu dan meningkatkan kemungkinan meneruskan projek dengan pulangan negatif palsu.

Anggaplah ini satu kajian ke atas satu sampel, bukan jaminan. Tetapi keputusan pivot itu yang menarik. Pengasas yang dirawat tidak lebih berhati-hati atau lebih degil. Mereka menukar hala lebih kerap, kerana mereka mempunyai bukti untuk bertindak.

Perangkap biasa

  1. Menguji pendapat. "Adakah anda akan menggunakan ini?" tidak membebankan penjawab sedikit pun. Cari tingkah laku: pendaftaran, deposit, dokumen yang dikongsi, pilot.
  2. Menetapkan ambang selepas data tiba. Mana-mana keputusan boleh dibingkaikan sebagai kemenangan selepas kejadian. Tulis garis lulus dahulu.
  3. Mengukur jumlah. Nombor yang hanya naik tidak dapat memberitahu anda sama ada apa-apa yang anda lakukan memberi kesan. Gunakan kohort dan kadar.
  4. Menguji perkara yang selesa. Pasukan suka menguji apa yang boleh dibina dengan cepat. Uji kepercayaan yang akan menamatkan idea itu jika salah.
  5. Menggabungkan kepercayaan. Jika ujian merangkumi harga, keperluan dan kebolehgunaan sekaligus dan gagal, anda tidak akan tahu yang mana satu bermasalah.
  6. Bertanya kepada rakan dan keluarga. Mereka sopan. Rekrut daripada segmen yang benar-benar anda rancang untuk dilayani.
  7. Mengelirukan aktiviti dengan pembelajaran. Keluaran yang dihantar, pelancaran atau sebutan akhbar bukan pembelajaran melainkan ia mengubah apa yang anda percaya.
  8. Menggelar ujian yang tidak muktamad sebagai lulus. Jika sampel terlalu kecil atau orang yang salah mengambil bahagian, nyatakannya dan jalankan semula.
  9. Belajar tanpa bertindak. Pengajaran tervalidasi yang tidak mengubah apa-apa hanyalah laporan status yang mahal.

Bagaimana validated learning berkait dengan idea startup yang lain

  • MVP. Produk minimum boleh hidup ialah alat untuk mendapatkan pengajaran. Ujian bagi yang baik ialah sama ada ia menghasilkan jawapan bertaraf keputusan dengan cepat.
  • Ujian andaian paling berisiko. Memilih kepercayaan yang hendak diuji seterusnya. Validated learning ialah tabiat yang lebih luas untuk memerlukan bukti bagi setiap kepercayaan yang penting.
  • Pivot. Keputusan yang menyusul apabila eksperimen berulang menunjukkan model semasa tidak bergerak. Steve Blank menerangkan startup sebagai organisasi yang dibentuk untuk mencari model perniagaan yang boleh diulang dan diskala, dan menyatakan bahawa kebanyakan startup mengubah model mereka beberapa kali sebelum menemui satu.
  • Problem-solution fit. Peringkat di mana pengajaran terkumpul menjadi bukti bahawa masalah sebenar wujud dan penyelesaian anda menanganinya. Lihat problem-solution fit.
  • Traction. Akhirnya pengajaran itu muncul sebagai tanda permintaan dalam angka. Artikel kami tentang apakah itu traction menerangkan cara mengenalinya.
  • Tinjauan product-market fit. Ujian Sean Ellis ialah satu cara berstruktur untuk menukar sentimen pelanggan kepada nombor yang boleh anda jejaki.

Validated learning bukan peringkat yang anda tamatkan. Syarikat yang mempunyai produk dan hasil jualan yang berkembang masih mempunyai kepercayaan yang belum diuji, tentang segmen baharu, harga dan saluran. Gelung itu hanya beralih kepada soalan yang berbeza.

Senarai semak ringkas

Sebelum eksperimen anda yang seterusnya, pastikan anda boleh menjawab soalan-soalan ini:

  • Kepercayaan tunggal yang manakah sedang kita uji, dan apa yang berlaku jika ia salah?
  • Tingkah laku sebenar daripada bakal pelanggan sebenar yang manakah dikira sebagai bukti?
  • Adakah metriknya kadar atau angka kohort, bukan jumlah berjalan?
  • Apakah garis lulus, gagal dan tidak muktamad, yang ditulis sebelum kita bermula?
  • Apa yang akan kita lakukan secara berbeza bagi setiap keputusan?
  • Siapa yang perlu melihat keputusan supaya ia mengubah satu keputusan?

Bacaan Berkaitan

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.