検証による学習(Validated Learning)とは何か

検証による学習とは:スタートアップは、実際の顧客行動が事業上の仮説を試し、チームの次の行動を変えたときに学びます。

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

検証による学習(Validated Learning)とは、意見や予測、チームの熱意ではなく、実際の顧客から得た証拠によって確かめられた、自社の事業についての学びのことです。リーンスタートアップの手法における進捗の単位です。3回リリースを重ねても、顧客が何にお金を払うのかについて何も学んでいないスタートアップは、あまり前進していません。何もリリースしていなくても、中核となる仮説が誤っていたことを顧客の行動で証明したスタートアップは、前進しています。

この言葉はEric Riesに由来し、創業初期の会社づくりで最も引用されながら、最も実践されていない考え方の1つです。多くの人がうなずいた後、登録数の追跡と機能のリリースに戻ってしまいます。本ガイドでは、この用語の意味、通常の計測との違い、検証された学びを生み出す実験の設計方法、そして「学習」を静かに当て推量へと逆戻りさせる落とし穴を解説します。

検証による学習の意味

リーンスタートアップの原則のページで、Riesは検証による学習を、他の産業が進捗を測る方法と対比させています。彼の比較では、製造業の進捗は高品質な製品の生産量で測られる一方、リーンスタートアップにおける進捗の単位は検証による学習であり、彼はそれを、極度の不確実性の土壌に埋もれているときに進捗を示すための厳密な方法と呼んでいます。

この定義には、2つの考え方が含まれています。

進捗とは、自分が知っていることの変化です。 新しい会社は、顧客が誰か、いくら払うのか、どうやって届けるのかをまだ知りません。コードを書くこと、採用すること、ブランドを磨くことは、活動です。これらの未知の要素のどれかを減らして初めて、進捗に数えられます。

「検証された」とは、行動に照らして試されたという意味です。 顧客についての検証による学習に関する以前の投稿で、Riesは検証を、事業の主要なリスクが現在の製品によって対処されたことを示すデータと説明しています。そのデータは売上である必要はありません。エンゲージメント、リテンション、バイラルな広がりなど、事業について説得力のある経済的なストーリーを語るものであれば何でも構いません。

違いは、同じ製品についての2つの記述を比べると実感しやすくなります。

  • 「顧客は気に入っています。デモで素晴らしいフィードバックをもらいました。」
  • 「3月に開設した40件のトライアルアカウントのうち、14件が5月にも毎週使い続けており、そのうち9件が請求書の発行を求めてきました。」

最初のものは感想です。2つ目は、他の人が確認でき、意思決定を指し示す学びです。どちらも同じ製品についてのものですが、検証されているのは一方だけです。

重要なポイント:検証による学習

  • 検証による学習は、リーンスタートアップの手法の原則の1つで、公式サイトはそれをリーンスタートアップにおける進捗の単位と呼んでいます。
  • 同サイトは、スタートアップの基本的な活動を、アイデアを製品に変え、顧客の反応を測り、ピボットするか継続するかを学ぶことと説明しています。
  • Riesは、検証を事業の主要なリスクが現在の製品によって対処されたというデータと説明し、売上である必要はないと述べています。
  • Riesは、虚栄の指標には因果関係がないと主張しています。大きな数字は、その原因や、さらに増やす方法を教えてくれないからです。
  • イタリアのスタートアップ116社を対象としたランダム化試験では、仮説を科学者のように検証する訓練を受けた創業者のほうが成果が高く、ピボットする可能性も高く、早期に脱落する可能性は高くならなかったことが示されました。
  • 検証による学習の実験には、唯一の標準的な形式はありません。閾値や指標は、事業やステージによって異なります。

通常の計測との違い

ほとんどのチームは、すでに何かを計測しています。違いは、計測が何のためのものかにあります。

計測と検証による学習:ダッシュボードは何が起きたかを報告します。事前に宣言された仮説と閾値が、顧客の結果を、継続、変更、中止の判断へと変えます。

通常の計測 検証による学習
出発点 たまたま集めているデータ 自分が間違っているかもしれない仮説
問い 「うまくいっているか」 「この具体的な仮説は正しいか」
最初に書き留めるもの まれ 予測と合格ライン
典型的なアウトプット ダッシュボード 判断:継続、変更、中止
失敗のパターン 数字は上がるが、理由は誰にも分からない 失敗しえないテスト

ダッシュボードは、何が起きたかを示します。検証による学習の実験は、なぜそうなったかを理解していたかどうかを試します。どのような結果なら計画が変わるのかを事前に言えないなら、それは学習ではなく報告をしているのです。

ビルド・計測・学習のループ

検証による学習は、1つのループによって生み出されます。リーンスタートアップのサイトは、スタートアップの基本的な活動を、アイデアを製品に変え、顧客の反応を測り、その後ピボットするか継続するかを学ぶこととしています。手法の全体像は、リーンスタートアップの手法の記事で扱っています。ここでは、このテーマに関わる部分を取り上げます。

ビルド・計測・学習のループ:リスクの高い仮説から始め、最小のテストを作り、顧客の行動を観察し、継続かピボットかを判断します。

  1. アイデア。 「小規模な会計事務所は、顧客書類の収集を自動化するためにお金を払う」のように、重要な仮説を言語化します。
  2. ビルド。 それを試せる最小のものを作ります。動くプロトタイプでもよいですが、ランディングページ、手作業で運営するコンシェルジュ型サービス、顧客と一緒に見ていくスケッチでも構いません。MVP(実用最小限の製品)の大きさは、機能リストではなく、問いによって決まります。
  3. 計測。 実際の顧客が何をするかを観察します。彼らが言うことよりも、行うことのほうが強い証拠です。
  4. 学習。 結果を予測と比較します。計画どおり続けるか、何かを変えるかを決めます。

落とし穴は、「ビルド」を目標として扱うことです。「計測」と「学習」に「ビルド」と同じだけ注意を向けて初めて、ループは検証による学習を生み出します。それらを飛ばすチームは、リリースしているだけであり、リリースは学習ではありません。

ループを逆から計画すると助けになります。まず何を学ぶ必要があるかを決め、次にそれを示す計測は何かを決め、その計測に必要な分だけを作ります。この順序こそが、最もリスクの高い仮定のテストが非常に有用な相棒である理由です。最初に試す仮説を選んでくれるからです。

虚栄の指標と行動につながる指標

検証による学習は、正直に読み取れる指標に依存します。Riesの虚栄の指標が危険な理由についての投稿が、その主張を展開しています。虚栄の指標として彼が最も好む例は「ヒット数」です。彼は、それは「指標もまた人である」という原則に反すると述べています。人間の数ではなく、技術的な処理を数えているからです。

虚栄の指標と行動につながる指標:累計値は見栄えが良いだけです。コホート別のリテンションとコンバージョン率は、変更が顧客の行動を変えたかどうかを明らかにします。

彼の2つ目の批判は、因果関係についてです。今月100万ヒットを得たとして、その原因は何で、どうすればもっと生み出せるのでしょうか。1つの大きな数字は、どちらの問いにも答えられません。その代わりとなるのが、行動につながる指標(アクショナブルな指標)であり、これらの問いに答えられるサブ指標から作られます。

以下の表は、この考え方を当社で整理したものであり、Riesからの引用ではありません。

虚栄の指標 行動につながる代替指標
これまでの累計登録数 今週の登録者のうち、7日以内に主要なアクションを完了した割合
ページビュー 流入元別に分けた、訪問からトライアルへのコンバージョン
累計ダウンロード数 登録月別の、登録から30日後もアクティブな顧客
今月の売上 今月獲得した顧客からの売上と、その獲得コストとの比較
実施したインタビューの総数 問題を促されずに自分から語ったインタビュー対象者の割合

右の列に共通するパターンは、コホートと比率です。顧客を開始時期でグループ分けし、グループ同士を比較します。新しいオンボーディングのフローが機能しているなら、それを経験したコホートは、その前のコホートとは異なる行動を取るはずです。因果関係の証拠は、この比較から得られます。累計値では、それは得られません。

イノベーション会計

通常の会計は、すでに存在する事業を計測します。新しい事業には、比較できる安定した基盤がありません。リーンスタートアップのサイトは、イノベーション会計をこれへの対応として位置づけています。起業の成果を高め、起業家に説明責任を持たせるには、進捗をどう測るか、マイルストーンをどう設定するか、仕事の優先順位をどうつけるかに焦点を当てる必要がある、というものです。

実際には、チームは通常、これを3つのステップで構成します。これはこの考え方を適用する一般的な方法であり、公式な仕様ではありません。

  1. ベースラインを設定します。 製品やオファーの最小限のバージョンを動かし、どれほど低くても実際の数字を記録します。それが出発点です。
  2. 目標に向けて調整します。 1つの指標を、ベースラインから、事業が成り立つために必要なモデルに向けて動かそうとする実験を行います。
  3. 判断します。 指標が動けば、継続します。実験を繰り返しても横ばいなら、モデルを変える必要があるかもしれません。これがピボットの背後にある問いです。

これが、検証による学習が「データドリブンであること」と同じではない理由です。目的はデータを増やすことではありません。事業モデルが機能に近づいているかどうかを示す、厳選された少数の数字を持つことです。

検証による学習の実験の設計方法

使える実験は、数行に収まります。始める前に書いておきましょう。

検証による学習の実験を設計する:結果を見る前に、仮説、顧客テスト、指標、閾値、判断ルールを書き出します。

  1. 仮説。 誤りうる形で言い表した、1つの仮説です。「このセグメントの人々は、この問題を、解決策に対価を払うのに十分な頻度で抱えている」は検証できます。「私たちの製品は役に立つ」は検証できません。
  2. テスト。 本物の見込み客から本物の行動を引き出す、最小の行動です。依頼で終わるインタビュー、明確なオファーのあるランディングページ、手作業のサービス、有償のパイロットなどです。
  3. 指標。 誰が見ても同じように読める1つの数字です。合計よりも比率を選びます。
  4. 閾値。 どの結果なら進める、どの結果なら中止、どの結果なら「結論が出ない、設計し直す」かです。データを見る前に決めてください。
  5. 期間とサンプル。 どれだけの期間実施し、判断する前に何人に届く必要があるかです。
  6. 判断ルール。 各結果に応じて何をするかです。どの結果でも次のステップが同じなら、その実験は何も教えてくれていません。

ここに、形式を示すために架空の数字を使った仮の例を挙げます。あるチームは、従業員20人未満の会計事務所が、顧客書類の収集を自動化するために対価を払うと考えています。

項目 内容
仮説 小規模な会計事務所は、顧客の書類を催促するのに十分な時間を失っており、有償パイロットにコミットする
テスト 事務所のオーナー25人との対話。それぞれの最後に有償パイロットを提案する
指標 パイロットの提案を受け入れた人数
閾値 25人中6人以上なら進める。3人未満なら中止またはセグメントを変更。その中間は、設計し直して再実施
期間 3週間
判断ルール 進める場合:パイロットに必要なものだけを作る。中止の場合:別のセグメントまたは課題を試す

このテストにはソフトウェアの構築が含まれていないことに注目してください。学びは、プロトタイプからではなく、コミットメントを求めることから得られます。対話そのものの進め方については、カスタマーディスカバリーをご覧ください。

科学的アプローチが役立つという証拠

このように仮説を検証することが、実際に成果を変えるのかを問うのは当然です。この問いに関する数少ない対照研究の1つが、Camuffo、Cordova、Gambardella、SpinaによるManagement Scienceの論文「A Scientific Approach to Entrepreneurial Decision Making: Evidence from a Randomized Control Trial」です。

著者らは、イタリアのスタートアップ116社を対象にランダム化比較試験を実施し、約1年にわたって16時点のデータを収集しました。介入群と対照群の両方が、市場からフィードバックを得ること、アイデアの実現可能性を見極めることに関する、10回の一般的な訓練を受けました。介入群のスタートアップは、さらに、自分たちのアイデアがどう機能するかを予測するフレームワークを作り、科学者のように厳密に仮説を検証するよう教えられました。対照群は、自分たちの直感に従いました。

著者らは、科学者のように行動した起業家のほうが成果が高く、別のアイデアにピボットする可能性が高く、初期段階で脱落する可能性は高くなかったと報告しています。彼らはそのメカニズムを精度の向上と説明しています。科学的アプローチは、偽陽性のリターンを持つプロジェクトを追う確率を下げ、偽陰性のリターンを持つプロジェクトを追う確率を高めます。

これは1つのサンプルに対する1つの研究であり、保証ではないと捉えてください。ただし、興味深いのはピボットの結果です。介入群の創業者は、より慎重でも、より頑固でもありませんでした。行動の根拠となる証拠があったために、より頻繁に方向を変えたのです。

よくある落とし穴

  1. 意見をテストすること。 「これを使いますか」と尋ねても、答える側には何のコストもかかりません。登録、手付金、共有された書類、パイロットなど、行動を探してください。
  2. データが届いた後で閾値を設定すること。 どんな結果も、後からなら勝利として説明できます。合格ラインを先に書き留めてください。
  3. 累計を計測すること。 上がり続けるだけの数字は、自分たちの行動に意味があったかどうかを教えてくれません。コホートと比率を使ってください。
  4. 居心地のよいものをテストすること。 チームは、素早く作れるものを試したがります。間違っていたらアイデアが終わってしまう仮説を試してください。
  5. 仮説をまとめてしまうこと。 1つのテストで価格、ニーズ、使いやすさを同時に扱って失敗した場合、どれが原因だったかは分かりません。
  6. 友人や家族に尋ねること。 彼らは礼儀正しいからです。実際に対象とするセグメントから集めてください。
  7. 活動を学習と混同すること。 リリース、ローンチ、メディア掲載は、自分が信じていることを変えない限り、学習ではありません。
  8. 結論の出ないテストを合格とすること。 サンプルが小さすぎた、あるいは違う人々が参加していたなら、そう認めて再実施してください。
  9. 行動なき学習。 何も変えない検証済みの学びは、高くついた状況報告でした。

検証による学習と他のスタートアップの考え方との関係

  • MVP。 MVP(実用最小限の製品)は、学びを得るための道具です。優れたMVPかどうかは、判断に足る答えを素早く出せるかどうかで決まります。
  • 最もリスクの高い仮定のテスト。 次に試す仮説を選びます。検証による学習は、重要なすべての仮説に証拠を求める、より広い習慣です。
  • ピボット。 実験を繰り返しても現在のモデルが動かないと分かったときに続く判断です。Steve Blankは、スタートアップを再現可能でスケール可能なビジネスモデルを探すために作られた組織と表現し、大半のスタートアップは、納得できるモデルを見つけるまでに何度もモデルを変えると指摘しています。
  • 課題・解決策フィット。 学びが積み重なって、本物の課題が存在し、自社の解決策がそれに応えているという証拠になる段階です。課題・解決策フィットをご覧ください。
  • トラクション。 最終的に、学びは数字の中の需要の兆候として現れます。その見分け方は、トラクションとはの記事で扱っています。
  • プロダクトマーケットフィットの調査。 Sean Ellisテストは、顧客の感情を追跡できる数字に変える、構造化された方法の1つです。

検証による学習は、終えるべき段階ではありません。製品と成長する売上を持つ会社にも、新しいセグメント、価格設定、チャネルについて、まだ試していない仮説があります。ループが、別の問いに移るだけです。

クイックチェックリスト

次の実験の前に、これらに答えられるか確認してください。

  • 試している仮説は何か1つで、それが誤りだった場合はどうなるか。
  • 本物の見込み客のどのような実際の行動が、証拠と見なされるか。
  • 指標は、累計ではなく、比率またはコホート別の数値か。
  • 合格、不合格、結論なしのラインは、始める前に書いてあるか。
  • それぞれの結果で、何を違うやり方で行うか。
  • 判断が変わるように、結果を見せるべきなのは誰か。

関連記事

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.