グロースマーケターにありがちな失敗：6〜18ヶ月で直面する7つの壁とその突破方法
Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
グロースの役割に就いてほぼ1年が経ったある時、四半期レビューの準備をしていて気づきます。「勝ち」の半分はおそらく本物ではなかった、でもどちらの半分なのかわかりません。14のテストを実施し、9つを勝者と呼び、6つをロールアウトしましたが、トップラインはほとんど動きませんでした。上司が理由を聞いてきます。あなたには良い答えがありません。
それが壁です。グロースが下手になったわけではありません。プロセスのひびが追いついてきたのです。
グロースの役割の最初の6ヶ月は借りたモメンタムで動きます。あなたが来る前に誰もテストしていなかったCTAがまだそこにあります。サインアップフォームには1つにすべき3つのフィールドがあります。価格ページにはソーシャルプルーフが欠けています。明らかな修正をリリースすると機能します。明らかだったからです。そして終わります。簡単な勝ちはなくなり、ファネルの下にあるシステムが反撃し始め、テスト勝率が静かに60%から25%へ、そして「もうよくわからない」へと下がります。
まさにその状況にいるなら、このガイドはあなたのためです。7つの落とし穴。それぞれに、あなたがおそらくすでに見ている名前のついた症状、なぜ痛いかを説明する実際の数値、今週実施できる具体的な修正があります。「今日の競争の激しい環境において」も、フレームワークのためのフレームワークもありません。次の四半期を実際に動かす7つのことだけです。
なぜ壁は6〜18ヶ月で来るのか
初めて勝ちのテストをリリースするとき、何かを解明したと感じます。5回目には日常に感じます。15回目のテストで、「勝者」が毎月の数値に必ずしも現れないことに気づき始めます。アクティベーションがテストで4%向上したが、4週目のリテンションが同じです。サインアップ転換が8%向上したが、MRRがフラットです。何かがおかしい。スプレッドシートは何が問題かを教えてくれません。
実際に起きていること：簡単なCTAはテスト済みです。システムが反撃しています。うまくいっていたときにスキップしたプロセスの部分（サンプルサイズ、計測、読み出し）が今利子をつけて返ってきています。4ヶ月目に取ったすべてのショートカットが14ヶ月目のバグです。
この壁を突破するグロースICは他の人より賢いわけではありません。自分のプロセスを監査します。監査すべき7つのことを示します。
落とし穴1：検出力不足の実験を実施する
症状： バリアントあたり800訪問者で勝者を宣言します。ダッシュボードに「95%信頼性」と表示されています。ロールアウトします。1ヶ月後、指標は元に戻っています。
数値： 5%のベースラインコンバージョン率と10%の最小検出効果で、適切に検出力を持つテストには各バリアントで約31,000訪問者が必要です。ほとんどのグロースチームはその約3%でリリースします。実験を実施しているのではありません。信頼区間が貼り付けられた高コストなコインフリップを実施しています。
ここでは数学は容赦がありません。より小さなリフト（5%相対とする）を検出したい場合、サンプルサイズは2倍にはなりません。4倍になります。ベースラインが5%ではなく2%なら、さらに上がります。「1週間後に判断する」アプローチは、信頼できないデータを生成するためにカレンダー時間を消費します。
修正： サンプルサイズ計算器をテストドキュメントのトップに固定します。テストが始まる前に、ベースライン率とターゲットMDEに必要な訪問者数を計算します。書き留めます。それからチームに厳格なルールを追加します：N訪問者未満での読み出しは禁止、例外なし、初期の数値が美しく見えても。
そうです、これで四半期あたりのテスト数が減ります。それが目的です。信頼できる5つのテストが信頼できない15より優れています。
落とし穴2：システムではなく局所最適を追いかける
症状： 今四半期にボタンカラー、見出しコピー、フォームレイアウトで12の勝ちがあります。MRRがフラットです。上司が何が変わったか聞いてきます。
数値： 実際のユーザーの6%しか到達しないステップで0.4%のリフトは、収益への0.024%のリフトに等しいです。そのような10個を積み上げても実際の指標は動きません。一方、ユーザーの80%が到達して35%が離脱しているアクティベーションステップは、誰も担当を名乗り出なかったために手付かずで残っています。
これはリストの中で最も魅惑的な落とし穴です。局所最適のテストは生産的に感じられます。緑の矢印で埋まったダッシュボードを生成します。スライドデッキに入れるものを提供します。それがCMOがグロースチームの実際の貢献について不快な質問をし始める理由でもあります。
修正： すべてのテストに2つのフィールドをタグ付けします。それが触れるファネルステップと、それを見るユーザーの割合。シンプルなルールを作ります：5%未満のリーチのテストは学習ベット（learning bet）でない限り終了させます（学習ベットなら、後で理由を覚えておけるように学習仮説を書き留めます）。
この1つの変更で四半期以内にバックログ全体が再編成されます。「このボタンは何色にすべきか」のチケットは下位に落ちます。「オンボーディングで35%のユーザーが離脱しているのはなぜか」のプロジェクトが上位に来ます。動かすリーチを持つ唯一のものだからです。
落とし穴3：計測負債を無視する
症状： 月曜日にファネルレポートを取得します。パスによって「サインアップ」に3つの異なるイベントが発火します。数値がダッシュボードと一致しません。エンジニアリングは先月修正したと言います。アナリティクスは誰も伝えなかったと言います。CSMは第2四半期から壊れていると言います。
数値： グロース分析の約30%は、最初のデータが間違っていたために再実施されます。毎週の3分の1が、誰も所有していなかった計測負債の支払いに消えます。
計測負債はグロース速度のサイレントキラーです。スプリント計画には現れません。四半期の3週間後に、最適化してきたファネルがずっと間違ったものを測定していたことに気づいたときに現れます。すべての「データが間違っているはず、再取得してみる」というSlackメッセージが、どこにも追跡されていない負債の利子の支払いです。
修正： 影響度の高い順に3つのルール：
- 新しいイベントごとにトラッキング計画のPRを作成します。コードと同じレビュープロセスです。名前、プロパティ、発火タイミング、担当者。
- バージョン付きの名前付きイベント。
signupではなくsignup_completed_v2。定義が変わったらバージョンが上がり、古いものに廃止日が設定されます。 - 週次5分間の「ファネルはまだ正常に機能しているか」チェック。前日のファネルを取得して先週と比較し、説明なしに15%以上動いたものにフラグを立てます。
退屈な作業です。他のすべての作業が成立する基盤でもあります。
落とし穴4：アクティベーションとエンゲージメントを混同する
症状： 先四半期でアクティベーション率が11%向上しました。4週目のリテンションがフラットです。スタンダップでアクティベーションの勝利を祝いました。リテンションの数値は出てきませんでした。
数値： 新しいユーザーの62%があなたのアクティベーションマイルストーンに到達します。18%が4週目に残っています。アクティベーション指標は動きました。あなたに給与を支払うものは動きませんでした。
アクティベーションはプロキシです。リテンションを予測する範囲でのみ重要であり、「リテンションを予測するアクション」はプロダクトが変わり、ICPがシフトし、オンボーディングが進化するにつれて変わります。2023年にアクティベーションを定義して一度も再検証していないグロースチームは、6ヶ月前にプロキシでなくなった数値に最適化しています。
修正： アクティベーションを「4週目のリテンションを予測するアクション」として定義します。そして四半期ごとに回帰で証明します。直近90日のサインアップを取得し、すべての初期プロダクト行動を4週目のリテンションに対して回帰させ、最高の予測力を持つアクションを見つけます。それがアクティベーションイベントです。
そしてプロキシを祝うのをやめます。アクティベーションが動いてもリテンションが動かない場合、勝ちではなくプロキシがドリフトしたシグナルとして扱います。回帰を再実施して定義を更新します。
落とし穴5：並行テストを多くしすぎる
症状： 同じファネルで7つの並行テストがあります。3つがオンボーディングに触れています。2つがアップグレードプロンプトに触れています。露出ルールは「ランダムにバケット分けしてそれで良しとする」でした。テスト3の勝ちはテスト6と重複していることに気づくまで素晴らしく見えていました。
数値： 同じフロー上で7つの重複テストがある場合、「勝ち」の約3分の1が交互作用効果によって汚染されています。汚染された勝ちをロールアウトします。それらはテストよりプロダクションで小さく見えます。上司が理由を尋ねます。あなたにはクリーンな答えがありません。
この落とし穴はチームサイズとともにスケールします。ソログロースICはほとんど遭遇しません。テストキュー規律のない4人のチームは常にこれにつまずき、チームが大きいほど汚染が悪化します。全員が同じファネルに同時にリリースしているからです。
修正： 3つのルールを持つテストキュー：
- ファネルステージあたり最大2つの重複テスト。ステージとはサインアップ、オンボーディング、アップグレードプロンプト、課金などの個別のステップです。
- 同じステージのテストに対する相互排他的なバケット分け。テストAに入ったユーザーは、Aが終わるまでテストBの対象になりません。
- 起動前に書かれたテストごとの露出ルールの文書化。「ユーザーは最初のオンボーディングビューでバリアントを表示され、テスト期間中維持され、再ランダム化なし。」
キューは最初にオーバーヘッドのように感じます。汚染された勝ちをロールアウトするのを最初に防いだ後は、そう感じなくなります。
落とし穴6：読み出しドキュメントをスキップする
症状： テストが終わります。誰かがSlackに投稿します：「バリアントBが勝った、サインアップで+6%、ロールアウトする。」親指の絵文字が3つ。誰も文書化しません。8ヶ月後、新しいグロース採用者が同じテストを提案します。チームはそれを再実施します。今回は負けます。誰も違いを説明できません。
数値： 8ヶ月。テストの制度的記憶が読み出しドキュメントなしに蒸発するのにかかる時間です。物事を再実施するほどの長さです。そこにいた人たちが覚えていると主張するほどの短さです（具体的な内容を求めるまで）。
読み出しドキュメントは官僚主義ではありません。「このチームは80のテストを実施した」と「このチームは80のテストの複利的な学びを持つ」の違いです。ドキュメントなしでは、すべてのテストがSlackメッセージとして終わり、学びは次の四半期の計画ミーティングで生き残れません。
修正： 1ページの読み出しテンプレート。5つのフィールド：
- 仮説。 何が起きると思ったか、なぜか？
- 設計。 何を変えたか、誰が見たか、どのようにバケット分けされたか？
- 結果。 数値。サンプルサイズ。信頼性。わからないことについて正直に。
- 学び。 結果があなたのユーザーやファネルについて以前は知らなかった何を教えてくれるか？
- 次のベット。 この学びを踏まえ、次に実施するテストは何か？
ドキュメントが存在するまでテストは「完了」とカウントされません。テンプレートを固定します。書き上げをテストの最後のステップにします（オプションのフォローアップではなく）。6ヶ月後、読み出しフォルダがチームの所有する最も価値ある成果物になります。
落とし穴7：リテンションが漏れているときにファネル上部を最適化する
症状： トラフィックが40%増加しました。サインアップが32%増加しました。MRRがフラットです。CACが22%上昇しました。最初の行を読み飛ばすとダッシュボードはホラー映画のように見えます。
数値： 月次解約率2%のSaaSでは、リテンションの5ポイント向上は、ファネル上部の獲得を2倍にするより価値があります。LTVの計算は厳しいものです：平均顧客が月100ドル支払って2%で解約する場合、LTVは5,000ドルです。解約を1.5%に下げるとLTVは6,667ドルに上がり、すでに持っているすべての顧客で33%のリフトです。獲得を2倍にすると古い、漏れるLTVで顧客が2倍になります。リテンションの修正はすでにいるすべての顧客の価値を掛け算します。
この落とし穴は構造的です。獲得は計測が容易で、テストが容易で、功績を認めてもらいやすいです。リテンションは忍耐、長いテストサイクル、プロダクトとのパートナーシップが必要です。ファネル上部の作業にデフォルトするグロースチームは怠惰ではありません。最も抵抗の少ない道をたどっており、その道が複利的な収益をテーブルに残しています。
修正： 四半期ごとに1回リテンション対獲得のLTV計算を行います。チームと上司に並べて見せます：「次の四半期に獲得を20%向上させるために費やすことができ、それはXの価値があります。またはリテンションを1ポイント向上させることに費やすことができ、それはYの価値があります。」より大きな数値がチームのフォーカスを設定するようにします。
ほとんどの四半期、リテンションがより大きな数値になります。それに従って行動します。
自己診断：今これらのうちいくつが当てはまりますか？
以下の7つの質問を正直に確認します。「はい」1つにつき1ポイント。
- 直近90日間で、バリアントあたり10,000訪問者未満のテストで勝者を宣言しましたか？
- 直近10のテストで、少なくとも5つがユーザーの5%未満しか到達しないファネルステップに触れていましたか？
- 先月、データが最初と一致しなかったため同じ分析を再実施しましたか？
- アクティベーション指標が向上する一方で4週目のリテンションが2四半期連続でフラットでしたか？
- 現在、同じファネルステージで2つ以上のアクティブなテストがありますか？
- 直近10のテストで、書かれた読み出しドキュメントがあるのは7つ未満ですか？
- 直近6ヶ月間でファネル上部のトラフィックがMRRより速く成長しましたか？
0〜1のはい： 良い状態です。監査を続けます。 2〜3のはい： これが6〜18ヶ月のほとんどのグロースICが陥る場所です。最も影響の大きい2つの落とし穴を選んでまず修正します。 4〜5のはい： 壁は来ていません。すでにぶつかっています。2週間新しいテストのリリースを止めてプロセスを再構築します。 6〜7のはい： チームは進捗ではなく動きを生成しています。このリストを上司に持って行き、より難しい会話をします。
突破口
6〜18ヶ月の壁を突破するすべてのグロースICは同じことをします：自分の創造性を責めるのをやめ、プロセスを監査し始めます。より大きなサンプルでより少ないテストを実施します。リーチでテストにタグ付けします。計測負債を払い戻します。アクティベーションを虚栄の指標ではなく本物の予測指標として再定義します。並行テストを制限します。読み出しドキュメントを書きます。獲得計算の横にLTV計算を置いてより大きな数値が勝つようにします。
今四半期に7つすべてを修正する必要はありません。自己診断から最も影響の大きい2つを選びます。修正します。90日後にリストに戻ります。
これを一貫して実施するグロースICは18ヶ月でシニアグロースマーケターになります。実施しないグロースICは、異なるテスト名と同じフラットなMRRチャートで、1年前に書いたのと同じ四半期レビューを書き続けます。
壁はプロセスの問題です。すべての落とし穴には数値があります。すべての修正は今週始められるものです。
あわせて読む
