プロダクトデザインのメトリクス：リリース率、ローンチ後のインパクト、デザイン品質
Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
QBRの週です。あなたのDirectorは会議室を歩き回りながら、デザイン採用をさらに2名増やす主張をしています。テーブルの向こう側では、CFOがスプレッドシートを開き、「ノー」を意味する丁寧な表情を浮かべています。PMリードは今四半期に47件の機能をリリースしたというスライドを持っています。エンジニアリングはベロシティチャートとバーンダウンのトレンドを持っています。あなたのDirectorがデザインのスライドをクリックすると、そこにはDribbbleのスクリーンショットが3枚と「ユーザー体験を向上させた」というフレーズが書かれているだけです。
CFOはひとつだけ質問します。「デザインは今四半期、数字として示せる成果を何か生み出しましたか？」
その瞬間に席が削られます。デザインが仕事をしていなかったからではありません。誰も（あなた自身も含めて）それを測定していなかったからです。
自己測定がキャリア保険になる理由
このパターンはサイクルごとに繰り返されます。ヘッドカウントの議論は、証明できる数字に帰着します。PMはリリースした機能と収益への貢献を持ち込みます。エンジニアリングはベロシティ、スループット、オンコールのアップタイムを持ち込みます。デザインは感覚、スクリーンショット、そして「磨き上げた」という言葉を持ち込みます。
削減が行われるとき、数字を持たないチームが最初に切られます。仕事が少なかったからではありません。予算の議論で自分たちを見えない存在にしてしまったからです。
不快な真実をお伝えします。あなたのDesign Leadは、あなたが生み出した数字でしかヘッドカウントを守れません。インパクトのデータをあなたの代わりに作り出すことはできないのです。あなたが自己測定をしていなければ、あなたは暗黙のうちにLeadに対して、信念だけであなたの席を守ってほしいと求めていることになります。そして信念はCFOのスプレッドシートには通用しません。
自己測定するデザイナーは切られない存在になります。クラフトの裏に隠れるデザイナーは、コスト項目になります。
席を守る5つのメトリクス
すべてのメトリクスがQBRに属するわけではありません。多くのデザイン「ダッシュボード」はノイズにすぎません。Figmaのファイル数、ログした時間、モックレビューへの出席。どれも唯一重要な質問に答えていません。デザインは今四半期、ビジネス上の成果を生み出したか？
次の5つは答えられます。
1. リリース率（Ship Rate）
定義： 四半期中に開始したデザインのうち、同四半期内に正式リリース（GA）に至った割合。
測定方法： シンプルなシートから始めましょう。Figmaで開くプロジェクトごとに1行を追加します。カラムはプロジェクト名、開始日、現在のステータス（デザイン中、開発中、リリース済み、中止、保留）、リリース日。四半期末にステータスがリリース済みで、リリース日が四半期内に収まる行を数えます。四半期中に開始した総行数で割ります。
ベンチマーク：
- 60〜75%は健全な範囲
- 75〜85%は、小さいプロジェクトだけを安全に選んでいる可能性がある
- 40%未満はシグナル。ほぼ必ずデザインの問題ではない
リリース率が35%であっても、あなたが遅いとは限りません。実際の原因はたいてい次の3つのいずれかです。スコープが途中で変わり続けている、ステークホルダーがブリーフに合意できない、あるいは優先順位が変わってプロジェクトが保留になる。これらはスコープとステークホルダーの問題です。データをLeadに持ち込んで、上流のパイプを修正してもらいましょう。
守るもの： スループット。あなたはボトルネックではありません。
2. ローンチ後のインパクト（Post-Launch Impact）
定義： あなたがデザインした機能に紐づけられた、機能レベルで算出される影響金額または週次アクティブユーザー数（WAU）。
測定方法： この数字はあなたが作るものではありません。PMのローンチ振り返りや、ローンチ後のメトリクスドキュメントから引っ張ります。適切に運営されているプロダクトチームはこれを必ず作成します。作られていない場合、それは別の問題であり、本物の問題です。PMに聞きましょう。アナリティクスのパートナーに聞きましょう。WAUとあれば収益リフトを入手しましょう。
その後、保守的に帰属させます。チェックアウトのリデザインがPMから$480Kの追加ARRとして評価された場合、「$480Kの影響を与えた」とは主張しないでください。「$480Kの追加ARRが帰属したサーフェスをデザインした」と主張しましょう。それが誠実であり、精査にも耐えられます。
ベンチマーク： これは文脈依存です。グロースサーフェスのシニアICなら、四半期に200万〜400万WAUをタッチするかもしれません。エンタープライズの管理ツール上のシニアICなら、1万2千WAUかもしれません。どちらも優秀な場合があります。注目すべき数字はあなた自身のトレンドと、割り当てられているサーフェスの規模です。割り当てが縮小しているなら、絶対値ではなくそれがシグナルです。
守るもの： ビジネス上の関連性。あなたは設定ページを真空の中でリデザインしているわけではありません。
3. デザイン品質（ピアルーブリック）
定義： 四半期ごとに2人のピアデザイナーが付与する1〜5のスコア。リリースした作業を4つの次元で評価します。アクセシビリティ、design systemとの整合性、エッジケースの処理、プロトタイプ忠実度とリリース結果の差異。
測定方法： 共有シートを作りましょう。リリースしたプロジェクトごとに1行。4つの次元に対して4カラム。プロジェクトごとに2人のレビュアー。ピアを選びましょう。マネージャーではなく、毎四半期同じ2人でもなく。各レビュアーが各次元を1〜5でスコアリングします。プロジェクトごとに8つのスコアを平均します。プロジェクト全体で平均して四半期スコアを算出します。
これは、美観だけで判断されることから守ってくれるメトリクスです。ピアルーブリックは、クラフトの地味な部分についての会話を強制します。空の状態を処理したか、ローディングとエラーの状態をスペックしたか、キーボードナビゲーションで機能するか、システムトークンを再利用したか、それとも新しいものを作ったか。
ベンチマーク：
- 3.5〜4.2はシニアICとして強い範囲
- 4.2以上はスタッフトラック領域
- 3.0未満は特定の次元が引き下げており、ルーブリックがどれかを教えてくれる
守るもの： クラフト。デザイン以外の人にも理解できる形で。「8人のレビュアーによる平均ピア品質スコア4.1」は、QBRにおいて「優れたビジュアルセンス」よりもずっと強く響きます。
4. ディスカバリーからリリースまでの時間（Discovery-to-Ship Time）
定義： プロジェクトで最初のFigmaフレームを作成した日からGAローンチまでの日数。四半期の平均ではなく中央値を使いましょう。破滅的な180日プロジェクト1件が平均を壊し、何も教えてくれなくなります。
測定方法： リリース率と同じシートを使います。2カラムを追加します。最初のフレームの日付とGA日。その間の日数を計算します。今四半期にリリースされたプロジェクト全体で中央値を取ります。
ベンチマーク： これは引用する価値のある業界標準の数字がありません。適切なベンチマークはあなた自身の前四半期です。トレンドを観察しましょう。
- 四半期ごとに低下：効率化が進んでいるか、スコープが絞れている
- 横ばい：安定している、それで問題ない
- 上昇：何かが遅くしている（不明確なブリーフ、多くの修正、より大きなスコープ）
サイクルタイムの罠は、最小化すべき数字として扱うことです。速ければ良いわけではありません。空の状態が壊れたままリリースする2週間のデザインサイクルは、磨き上げてリリースする6週間のサイクルより悪いです。サイクルタイムを追跡する目的はトレンドの変化を検知し、その理由を問うことです。
守るもの： 予測可能性。エンジニアリングとPMのパートナーがあなたを中心に計画できます。
5. タッチしたサーフェスのNPSまたはCSATデルタ
定義： リデザインした特定の画面（製品全体ではなく）を対象としたローンチ前後のユーザー満足度スコア。
測定方法： リリース前にベースラインを取得します。チームがインプロダクトのNPSまたはCSATを実施しているなら、リデザインしようとしているサーフェスにアクセスしたユーザーにフィルタリングします。その数字を保存します。ローンチ後、サーフェスが成熟するまで4〜6週間待ち、同じフィルタリングスコアを取得して、デルタを計算します。
プロダクトがサーフェスレベルの満足度追跡をしていない場合、このメトリクスは難しくなります。代替手段として、リデザイン前後のサポートチケット件数、プロダクトアナリティクスのタスク完了率、特定のフローに対するタスク完了時間などが使えます。
ベンチマーク：
- リデザインしたサーフェスで+3〜+8 NPSポイントは本物の成果
- デルタが横ばいは、リデザインがユーザーへの改善ではなく、同等の変更だったことを意味する
- 負のデルタは、リデザインが何かを壊したことを意味します。すぐに調査してください。隠してはいけません
守るもの： ユーザー上の成果。CFOはカラーパレットに関心がありません。タッチしたサーフェスが測定可能なほど改善されたかどうかを気にしています。
「リリース率が高いのにインパクトが低い」の診断
これはQBRシーズンに優秀に見えるデザイナーを罠にかける落とし穴です。
78%のリリース率を持ち込みます。強い。同時に$40Kの帰属収益インパクトとタッチしたサーフェス全体で横ばいのNPSデルタを持ち込みます。あなたのDirectorはリリース率を見て満足します。CFOはインパクトを見て、あなたの給料が予算の制約になっていないか問います。
そのギャップには名前があります。あなたはプロダクトデザイナーではなく、フィーチャーファクトリーのデザイナーです。
フィーチャーファクトリーのデザイナーは速くリリースします。クラフトは確かです。Figmaのファイルは整理されています。ハンドオフはきれいです。PMのスペックをピクセルに変換するのが得意です。そしてリリースした作業はビジネスを動かしません。なぜなら、誰も（デザイナー自身も含めて）それをリリースすべきかを問わなかったからです。
解決策は「もっとうまくデザインする」ことではありません。解決策はFigmaを開く前に起きます。
診断テスト： 直近5件の完了プロジェクトを見てください。それぞれについて、プロジェクト開始前にPMが約束した成功指標を書き出してください。指標を思い出せない場合、PMが一度も指標を示さなかった場合、または答えが「Q2までにリリースする」だった場合、あなたはリリース率が高くてインパクトが低い問題を抱えています。
対処法： 次の3つのプロジェクトブリーフで、Figmaを開く前にPMに1通のメッセージを送りましょう。「ここで合意する成功指標は何ですか？ローンチ6週間後のチェックポイントで何が達成できれば成功と言えますか？」それに答えられなければ、そのプロジェクトはデザインの準備ができていません。プッシュバックしましょう。最初は居心地が悪く感じるかもしれません。$40KのインパクトとともにQBRに入ってCFOに質問される方が、ずっと居心地が悪いものです。
これを2四半期続けるデザイナーは、フィーチャーファクトリーを卒業します。リリース率が10ポイント下がることもあります。インパクトの数字は3倍になります。そのトレードオフは毎回必ず価値があります。
QBRスライド
スライド1枚。4分割。数字と前四半期比のデルタ。フォーマットはそれだけです。
┌──────────────────────────────────────────────────────────────┐
│ │
│ リリース率 ローンチ後のインパクト │
│ 72%（前QoQ比 +6pt） ARR $1.2M影響 │
│ 12件中9件リリース WAU 42万件タッチ │
│ （前QoQ比 +28万件） │
│ │
│ ──────────────────────────────────────────────── │
│ │
│ ピア品質スコア サイクルタイム（中央値） │
│ 4.1 / 5.0（前QoQ比 +0.2） 38日（前QoQ比 -7日） │
│ 8レビュアー、4次元 最初のフレームからGAまで │
│ │
└──────────────────────────────────────────────────────────────┘
可能であれば下部にボーナス行を追加します。「タッチしたサーフェスのNPSデルタ：+5（チェックアウトのリデザイン）、+3（オンボーディングフロー）、-1（設定ページ、調査中）。」
スライドはそれだけです。あなたのDirectorはそれをヘッドカウント会議に持ち込みます。CFOはCFOが気にするすべての次元に対する数字を目にします。スループット、ビジネスインパクト、クラフト、予測可能性、ユーザー上の成果。デザインが席に値するかどうかという議論は終わり、次の採用がどのようなスコープを開くかという議論になります。
バニティメトリクスの罠
デザイナーが追跡しているが、CFOの質問に耐えられないもの：
- DribbbleのいいねとBehanceのビュー数。 外部のバニティ。CFOはDribbbleアカウントを持っていません。
- Figmaのファイル数。 ファイルが多いことはインパクトが多いことではありません。むしろ少ないこともあります。
- Figmaに費やした時間。 費やした時間は生み出した価値ではありません。これは最悪のメトリクスです。遅い仕事を積極的に報いることになります。
- モック投稿へのSlackリアクション。 同僚は親切です。彼らのリアクションはシグナルではありません。
- 受賞と講演。 キャリアにはプラスです。ヘッドカウントの防衛には、なりません。
- 「レビューしたモック数」や「参加したデザインクリティーク数」。 活動であって、成果ではありません。
- コンポーネントライブラリへの貢献。 これは本物の仕事であり、design systemの貢献者には別途追跡する価値があります。しかし、リリースしたプロダクトインパクトの代替にはなりません。
今の自己追跡がこれらで満たされているなら、置き換えましょう。上記の5つのメトリクスが、通用するものです。
使えるテンプレート
自己追跡シート（四半期ごとに1タブ）：
カラム：プロジェクト名 | タイプ（新機能、リデザイン、修正）| 開始日 | ステータス | リリース日 | 最初のFigmaフレーム日 | GA日 | サイクルタイム（日数）| PMに帰属したインパクト（$またはWAU）| サーフェスNPSデルタ | メモ
週次で更新します。10分かかります。キャリアを通じてすべてのQBRで成果を発揮します。
ピアルーブリックスコアリングフォーム：
リリースした各プロジェクトについて、2人のピアに4つのプロンプトを含むフォームを送ります。
- アクセシビリティ：キーボードナビゲーション、スクリーンリーダー、色覚特性のあるユーザーに対応しているか？（1〜5）
- design systemの整合性：既存のトークン、コンポーネント、パターンを再利用したか？（1〜5）
- エッジケースの処理：空、ローディング、エラー、最大文字数、オフライン状態がすべてスペックされているか？（1〜5）
- プロトタイプ忠実度：リリース結果はスペックと一致しているか、ハンドオフで多くが失われたか？（1〜5）
各次元につき1段落のコメント。1レビュアーあたりの所要時間：プロジェクトごとに20分。四半期に1回、まとめて実施します。
QBRスライドのレイアウト：
上記の4分割テンプレートを使います。数字は48ポイント。デルタは上下矢印付きで24ポイント。CFOがファクトチェックできるよう、方法論の注釈を10ポイントでフッターに記載します。このスライドにFigmaファイルのスクリーンショットは入れません。クラフトのショーケースは別のスライドのために取っておきます。
最後に持ち帰るひとつのこと
あなたのDesign Leadは信念でその席を守ることはできません。数字でしか守れません。そして数字はあなたから来なければなりません。
今週の金曜午後、自己追跡シートのセットアップに時間を使いましょう。今四半期のデータを遡って入力しましょう。次のQBRまでに、あなたのDirectorが予算会議に持ち込める4分割スライドができあがります。そして削減が来たときに守ってもらえる種類のデザイナーになれます。
それが自己測定の全てです。これは官僚主義ではありません。キャリア保険です。
関連記事
Principal Product Marketing Strategist