UXメトリクス: ユーザビリティ、タスク成功率、完了時間、NPS

UXの仕事のほとんどは測定されていません。「ユーザーは新しいフローを気に入っています」と言えば、うなずきとともに会議室から追い払われます。PMはチャーンのグラフを持って入ってきます。あなたはFigmaのファイルを持って入ります。ロードマップの議論で勝つのはどちらか、わかりますよね。

四半期ビジネスレビュー(QBR)に座って、エンジニアリングマネージャーがスループット数値でリファクタリングを正当化している間に自分のスコープが縮小していくのを見たことがあれば、何の話をしているかはわかるはずです。デザインには独自の数字が必要です。虚栄ダッシュボードではなく。「エンゲージメントが4%上昇」でもなく。プロダクト責任者に対して、60秒以内に、デザインが機能しているかどうかを伝える短く説明可能なセットが必要です。

ここでは私が使うそのセット、誰も話さない失敗モードを捉える診断、そして編集なしで転送されるQBRスライドを紹介します。

なぜ今これが重要なのか

デザインリードはAIツールに対してヘッドカウントを正当化するよう求められています。「design tokenを14個リリースしました」は正当化になりません。「サインアップフローのタスク成功率が71%から88%に移動し、1,000ユーザーあたりのサポートチケットが22%減少しました」はなります。

大げさに言っているのではありません。私が見てきた直近2回のパフォーマンスサイクルで、ヘッドカウントを失った全てのUXチームに共通点が一つありました。ビジネスにとって重要な数字を出せなかったことです。成長したチームはプロダクトと共通の言語を持ち、毎四半期更新するベースラインを持っていました。それが全ての違いです。

数字はクラフトの代替ではありません。数字はクラフトを守ります。

5つのメトリクス

この5つを選んでください。2四半期連続でこれらを報告するまで、6つ目を追加しないでください。メトリクスを増やすとスライドは強くなるのではなく弱くなります。

1. タスク成功率

タスクを狭く定義してください。「ダッシュボードを使う」ではありません。「新しいプロジェクトを作成し、チームメンバー1人を招待し、最初のタスクを割り当てる」と言います。そして、ヘルプなし、バックアウトなし、離脱なしで完了したユーザーを数えます。

目標値: 収益またはリテンションを促進するコアフローで85%超。有料顧客にリリースするフローで70%未満はバグであり、デザインの好みの問題ではありません。

計測方法: 高トラフィックフローにはセッションリプレイ(FullStory、LogRocket、Hotjar)、新しいものにはn=12以上のモデレートテスト。12件が同じ問題を2回見始めるフロアです。12件未満では推測しているだけです。

最もよく見る失敗: チームはハッピーパスのみでタスク成功率を測定します。最も一般的な2つのエッジケース(空の状態とエラーからの回復)を追加して再測定してください。数字は下がります。その下落こそが本当の作業が存在する場所です。

2. 完了までの時間

平均ではなく中央値を使ってください。カスタムワークフローを持つエンタープライズ顧客1人が平均を意味のないものにします。中央値は典型的なユーザーが実際に経験することを教えてくれます。

新規ユーザーとリターンユーザーでセグメントしてください。コアアクションで新規ユーザーが90秒を超えるのは警告サインです。毎日行うことにリターンユーザーが30秒を超えるのも警告サインです。筋肉記憶を使わせていないということです。

実例: 請求ページのリデザインにより、リターンユーザーの完了時間の中央値が47秒から31秒に移動しました。34%の削減です。PMはリデザインに関心がありませんでした。「請求書のダウンロードボタンはどこか」というサポートチケットが同じ四半期にゼロになったことに関心がありました。同じ成果、異なる言語。両方使いましょう。

完了時間が教えてくれないこと: ユーザーが楽しめたかどうか、戻ってきたかどうか、そのフローが適切なフローかどうか。これは速度計であり、目的地確認ではありません。

3. エラー率

追跡すべき3つのこと:

• フォームエラー: 誤って送信されたフィールド、バリデーションがトリガーされた、成功までの再試行回数
• デッドエンドクリック: インタラクティブでないものへのタップ(ボタンのように見えるラベル、アクションのないアイコン)
• 連打クリック: 2秒以内に同じ要素を3回以上クリック

セッションあたりが適切な単位です。「ユーザーあたり週のエラー数」はフローレベルの問題を隠します。

重要なルール: リデザイン前にベースラインを設定してください。リデザインをリリースして「セッションあたりのエラー率は1.2です」と報告しても、リデザイン前のベースラインがなければ無意味です。改善を30%達成したのに、開始点を測定していなかったためにそれを主張できなかったデザイナーを見てきました。第1週にベースラインを設定してください。常に。

連打クリックは過小評価されています。UXにおいてユーザーが画面に向かって叫んでいるに最も近いものです。セッションあたり0.5を超える連打クリックがあるフローは何か具体的なことを伝えています。ユーザーは何かが機能するはずだと思っているのに、機能していません。

4. SUSスコア

System Usability Scale(システムユーザビリティスケール)。10の質問、0〜100でスコアリング、四半期ごとに実施します。

全ソフトウェアの平均: 68。50未満は緊急事態です。ユーザーは積極的に苦労しています。80超は本当に良い。85超はまれで、おそらく小規模で自己選択したサンプルを意味します。

プロダクト全体でSUSを実施しないでください。収益またはリテンションを促進する3つのフローで実施してください。PMと一緒に選んでください。そうしないと、優れたオンボーディングと平凡な管理パネルを平均して意味のない71を報告することになります。

10の質問(標準的な表現でリリースしてください。ここでは要約しています):

1. このシステムを頻繁に使いたいと思います。
2. このシステムは不必要に複雑だと思います。
3. このシステムは使いやすいと思います。
4. このシステムを使うには技術者のサポートが必要だと思います。
5. このシステムのさまざまな機能はうまく統合されていました。
6. このシステムには矛盾が多すぎました。
7. ほとんどの人はこのシステムの使い方をとても早く覚えられると思います。
8. このシステムは非常に扱いにくかったと思います。
9. このシステムを使うことに非常に自信を感じました。
10. このシステムを使えるようになる前に多くのことを覚える必要がありました。

5段階評価、肯定と否定が交互。計算方法は十分に文書化されています。再発明しないでください。

毎四半期同じ週、同じフローで、フローあたり少なくともn=20の回答者で実施してください。絶対値よりトレンドが重要です。

5. ローンチ後のNPSデルタ

Net Promoter Score(NPS)は大まかな指標です。単独では虚栄指標です。セグメント化すると、プロダクト責任者に見せられる最も強力なシグナルの一つになります。

やり方: リデザインをリリースしてから30日以内に、実際にリデザインされたフローを使ったユーザーと使わなかったユーザーでNPSの回答をセグメント化します。2つのコホートを比較します。リデザインされたフローのコホートのスコアが8ポイント高ければ、説明可能な主張ができます。同じかそれ以下なら、調査する価値がある問題があります。

これが私がUXスライドに載せる唯一のNPSの数字です。会社の集計NPSはCEOのものです。コホートセグメントのローンチ後NPSはあなたのものです。

罠に注意してください。前四半期の全社NPSと比較しないでください。フローを測定しているのであり、会社を測定しているのではありません。同じウィンドウでコホート対コホートを比較してください。

「高タスク成功率なのに高チャーン率」の診断

これは誰も警告してくれないものです。

フローは機能しています。SUSは76。タスク成功率は91%。完了時間は下がりました。リリースし、喜びます。3か月後、チャーンは動いていません。時には悪化します。

何が起きたのでしょうか?

通常は3つのうちの一つです。

間違ったジョブを最適化した。 ユーザーは測定したタスクを完了しましたが、そのタスクは彼らが実際に達成したかったことではありませんでした。典型的な例: インポートフローを94%の成功率にリデザインしましたが、ユーザーはAPIが機能しないためにCSVをインポートしていました。本当のジョブは「データを早く入れる」ことでした。あなたは回避策を最適化しました。

次のステップが壊れている。 オンボーディングを完了した。次に空の状態に当たって離脱した。または予期していなかった料金の壁に当たった。または4日後に応答したセールス担当者に引き継がれた。測定したフローは成功しました。ジャーニーは失敗しました。

リターンユーザーを壊しながら新規ユーザーを最適化した。 新規ユーザーのタスク成功率が22%上昇。リターンユーザーのタスク成功率が8%低下。支払っているのはリターンユーザーです。彼らが去りました。

QBRの前に発見する方法:

1. 直近30日間の離脱ユーザーをコホート化する。
2. そのコホートの離脱7日前のセッションリプレイを取得する。
3. 躊躇の瞬間を探す。画面での長い停止、前のステップへの戻り、新しいタブでヘルプ記事を開く。
4. セッション指標が「成功」を示しているにもかかわらず、躊躇した画面を特定する。
5. その画面が本当の問題です。リデザインしたものではありません。

5件の離脱ユーザーリプレイは、50件のハッピーパステストより多くを教えてくれます。投資は2時間。アウトプットはリテンションを動かす3〜5つの修正のリストです。虚栄指標ではなく。毎月実施してください。

QBRスライド

スライド1枚。数字4つ。診断の指摘1つ。きれいにしないでください。ざっと読めるようにしてください。

レイアウト(左から右、上から下):

表の下に1行:

診断: オンボーディングの完了率が17%上昇したが、第2週のリテンションは横ばい。コホートリプレイは空のダッシュボード状態を指している。次のスプリントで修正スコープを設定済み。

それがスライドの全てです。リデザインのスクリーンショットは不要。Figmaのビフォーアフターも不要。「ユーザーは喜んでいました」という引用も不要。プロダクト責任者はそれを読みません。表、デルタ、診断を読みます。

Figmaが欲しければ聞いてきます。ほとんど聞きません。

虚栄指標の罠

UXメトリクスのように見えるが実際はそうでないもの:

エンゲージメント時間のみ。 長いセッションは混乱を意味することがあります。エクスポートボタンを探すのに12分費やしたユーザーはエンゲージしていません。行き詰まっています。タスク成功率と組み合わせるか、報告しないでください。

リリースされたdesign token数。 これはアウトプットであり、アウトカムではありません。エンジニアが「書いたコード行数」を報告しないのと同じ理由です。これも報告しないでください。

セグメント化なしのNPS。 集計NPSはCEOのものです。セグメント化なしのNPSをUXスライドに載せると、自分がやっていないことのクレジットを取るか、壊していないことの責任を取るかのどちらかになります。

サポートチケット後のCSAT。 サポートエージェントを測定しており、プロダクトを測定していません。サポートリーダーシップには有用。あなたには有用ではありません。

UXメトリクスとしてのバウンス率。 バウンス率はランディングページのマーケティング指標です。プロダクト画面においては、ほぼ常に誤解を招きます。

実施したユーザビリティテストの数。 活動であり、アウトカムではありません。正しい数字は「デザイン決定を変えたテスト数」ですが、それは報告が難しい数字であり、誰もやりません。それでも試みてください。

計測インフラのチェックリスト

これらのいずれかを報告することにコミットする前に、実際に測定できることを確認してください。PMとエンジニア1人と一緒にこのリストを確認してください。

• セッションリプレイツールをデプロイし、PII(個人情報)を除去済み(FullStory、LogRocket、Hotjar、Heap)
• 全コアフローの開始/完了ペアにイベントトラッキングを設定済み(オンボーディング開始、オンボーディング完了など)
• ファネル定義をドキュメント化し、プロダクトアナリティクスと共有済み
• SUSサーベイのインフラ(Typeform、アプリ内モーダル、または四半期メール)でフローあたり少なくともn=20
• NPS サーベイをリリース日ではなく機能/フローへの露出でセグメント化済み
• リデザインがリリースされる前にベースライン測定を取得済み
• PMがあなたに聞かなくても開けるダッシュボードを共有済み

8つ全てを確認できなければ、メトリクスにコミットする前にギャップを修正してください。実際に信頼できない数字を報告することは、全く報告しないよりも悪いことです。

自分の成功を測る方法

これが機能していることがわかるとき:

• 「デザインは機能しているか」という質問に、形容詞ではなく数字で60秒以内に答えられる。
• デザインリードがあなたのQBRスライドを編集なしでプロダクト責任者に転送する。
• PMが「ユーザーのフィードバック」を求めるのをやめ、「最新のタスク成功率の数字」を求め始める。
• エンジニアがリファクタリングを始める前にベースラインを求める。なぜならそのフォーマットを見てきたからです。
• QBRの後ではなく前に、高成功率と高チャーン率のケースを発見する。

目標はデータアナリストになることではありません。部屋の中で数字を持たない人になることをやめることです。

5つのメトリクス。1つの診断。1枚のスライド。2四半期実施すれば、あなたの会社でUXに関する会話が静かに変わります。

関連記事

• 崩壊しないデザインクリティーク
• 低予算でのユーザビリティテスト
• デザインをわかってくれないPMと働く方法
• プロダクトデザイナーの求人票