AIプロダクトの定着度を測る指標

著者: Brian Tr · 更新日: 2026年10月7日

AIプロダクトの定着度とは、想定ユーザーのうち、そのプロダクトで実際のタスクを繰り返し完了し、それを続けている人の割合です。登録数、ログイン数、販売したシート数ではありません。こうした数字は集めやすく、ほぼどのAIプロダクトも良く見せてくれます。人は好奇心からAIツールを試し、その多くが1週間で使うのをやめてしまうからです。

このページでは、創業者向けの測定の仕組みを紹介します。指標を整理するフレームワーク、AIにとって重要な具体的指標、そして利用と価値が食い違うポイントです。扱うのは測り方であり、改善の方法ではありません。改善についてはオンボーディングと価値実現までの時間とAIプロダクトのチャーンをご覧ください。

登録数やログイン数が誤解を招く理由

AIではこの問題がより深刻です。典型的なAIプロダクトには目新しさの曲線があります。最初の1週間はよく使われ、買い手が限界に気づくと利用が落ち込みます。また、誰も開かないシートに買い手が料金を払い続けていることもあります。さらに、ユーザーが毎日使っていても、出力はそのまま捨てられているかもしれません。いずれも、ログイン数のダッシュボード上では問題がないように見えます。

適切な測定では、4つの問いを分けて考えます。使い始めたか、戻ってくるか、深く使っているか、そして機能しているか、です。これらは公開済みのフレームワークとほぼ対応しているので、独自に作るのではなくそれを使いましょう。

HEARTフレームワーク

GoogleのRodden、Hutchinson、Fuは、Measuring the User Experience on a Large Scale(CHI 2010)でHEARTを提唱しました。Happiness(満足度)、Engagement(エンゲージメント)、Adoption(導入)、Retention(継続)、Task Success(タスク成功)の頭文字です。著者らはこれを固定の数値リストではなく、チームが具体的な指標を選ぶためのカテゴリの集合として示しています。

論文では、HEARTをPULSE指標と呼ばれるものと対比しています。ページビュー、稼働率、レイテンシ、7日間アクティブユーザー数、収益です。著者らによれば、PULSE指標も重要ですが、追跡しているのはユーザー体験の質ではなく、ビジネスと技術面の健全性です。HEARTはそれを補完するためのものです。

論文は実践的な手法も示しています。Goals(目標)、Signals(シグナル)、Metrics(指標)です。まず、プロダクトや機能がユーザーのために何を達成すべきかを明確にし、次にそれが実現したことを示すシグナルを特定し、最後にそのシグナルから指標を作ります。

論文のうち3つの点は、AIプロダクトにそのまま当てはまります。

すべてのカテゴリがすべてのプロダクトに合うわけではありません。 著者らは、業務の一環として使うことが前提のエンタープライズ環境では、エンゲージメントが意味を持たない場合があると指摘しています。その場合、チームは満足度やタスク成功に重きを置くとよいでしょう。B2BのAIプロダクトの多くはこの状況にあるため、仕事が来たときに開くツールに毎日の利用目標を押し付けないでください。

エンゲージメントは合計ではなくユーザーあたりで報告します。 論文はユーザーあたりの平均を推奨しています。合計が増えても、それは利用の増加ではなくユーザー数の増加によるものかもしれないからです。月間のプロンプト総数を見ている創業者は、プロダクトの使われ方が浅いままでも毎月の成長を目にすることになります。

「導入された」状態は、タスクの完了で定義します。 論文によれば、サイトを訪れただけで利用とみなせるプロダクトもあれば、重要なタスクを完了して初めて導入したとみなすべきプロダクトもあります。AIプロダクトでは、ほぼ常に後者の定義が適切です。

アクティベーション: 最初の実利用を定義する

アクティベーションとは、新規ユーザーが「残しておきたい」と思える最初の結果を得た瞬間です。登録と習慣化の間に位置し、最も慎重に定義する価値のある指標です。その後のすべてがこれに依存するからです。

使えるアクティベーションの定義は、3つの要素で構成されます。

1. 具体的な行動: 「アカウントを作成した」ではなく、「実データで最初のワークフローを実行した」など。
2. 品質の条件: 「出力を採用した、またはエクスポートした」など。
3. 期間: 「最初の7日以内」など。

これを達成した新規アカウントの割合と、達成までにかかった時間を測定します。サンプルデータであちこちクリックするだけで定義を満たせるなら、それは好奇心を測っているにすぎません。ユーザー自身の仕事に結びつけてください。

利用の深さと頻度

アクティベーションの後は、どれだけ、どのくらいの頻度で使われているかが問題になります。これは3種類の指標でカバーできます。

頻度。 HEART論文に出てくるGmailの例は、参考になるパターンです。Gmailチームは、7日間アクティブユーザー数よりも良いエンゲージメントのシグナルを求め、直近1週間で5日以上訪れたアクティブユーザーの割合を測定しました。著者らによれば、この指標は長期的なリテンションを強く予測しました。AIプロダクトへの教訓は、仕事に合った頻度のしきい値を選び、それが誰が残るかを予測できるか確認することです。

定着率の比率。 DAU/MAU(日次アクティブユーザー数を月次アクティブユーザー数で割ったもの)がよく使われる略記です。毎日使うプロダクトには適していますが、もともと週次や月次で使う設計のプロダクトでは誤解を招きます。週次アクティブ対月次アクティブのように、仕事の自然なサイクルに合った期間を選んでください。

深さ。 ユーザーが来たかどうかではなく、セッションごとに何をしたかを数えます。AIプロダクトで有用な深さのシグナルは次のとおりです。

• アクティブユーザー1人あたりの週間完了タスク数
• 複数の種類のタスクを実行しているユーザーの割合
• 他の方法ではなくプロダクトを経由して処理された仕事の割合
• 連携機能や保存済みコンテキストなど、設定が必要な機能の利用

1つの狭いタスクにしか使われないプロダクトは、簡単に置き換えられます。4つのワークフローにまたがって使われるプロダクトには、乗り換えコストが生じます。

採用率とタスク成功

ここで、AIプロダクトには通常のソフトウェアにはない指標が必要になります。AIの出力は、起きるか起きないかのクリックではありません。ユーザーは出力を採用することも、編集することも、破棄することもでき、どの選択も利用のシグナルになります。

採用率は最も分かりやすい例です。GitHubの研究Productivity Assessment of Neural Code Completion(Ziegler et al., MAPS 2022)では、採用率を、表示された提案のうちソースファイルに取り込むために採用されたものの割合と定義しました。著者らは、Copilotのテクニカルプレビュー利用者2,047人のアンケート回答を、IDEの利用データと照合しました。採用率は、開発者が感じる生産性を最もよく予測する利用指標で、相関は0.24でした。これは、採用されたコードがどれだけ長く変更されずに残ったかを示す指標よりも優れていました。著者らは慎重に、説明できないばらつきがかなり残っていること、採用率は細かな診断ではなく大まかなモニタリングに向いていることを述べています。

この結果は、ありのままに読み取ってください。1つのプロダクトのプレビュー利用者における、自己申告の生産性との相関です。採用率を第一段階のシグナルとして使う根拠にはなりますが、価値の証明にはなりません。ユーザーは、編集するより却下するほうが手間がかかるという理由で、平凡な提案を採用することもあります。

指標は1つではなく、タスクレベルの小さな指標群として構築しましょう。

採用率の変化を誤って解釈しないよう、これらを定期的な品質評価と組み合わせてください。その構築方法はAIの信頼性と評価をご覧ください。

リテンションコホート

リテンションは、プロダクトとデモを分ける指標です。HEART論文では、ある期間のユーザーのうち、後の期間にもまだ残っている人数と定義しています。たとえば、ある週の7日間アクティブユーザーのうち、3か月後も7日間アクティブである人の割合です。また、適切な間隔はさまざまで、週ごとが合うプロダクトもあれば、月次や90日が合うプロダクトもあると述べています。

標準的な読み方はコホート表です。ユーザーを利用開始した週ごとにグループ化し、各グループのうち、その後の各週にまだアクティブな割合を追跡します。行がコホート、列が登録からの経過週数です。

確認すべき点は次のとおりです。

• 平らになる曲線。 各コホートが落ち込んだ後、ある割合で横ばいになるなら、プロダクトが役立っている中核的なユーザー層がいます。曲線がゼロに向かって下がり続けるなら、まだリテンションは確立していません。
• 新しいコホートが古いコホートを上回ること。 これは、プロダクトやオンボーディングの改善が効いていることを示す最も明確な証拠です。全体を混ぜたリテンションでは、古いユーザーが平均を薄めるため、これが見えなくなります。

ユーザーレベルのリテンションは、ネット・レベニュー・リテンションで扱うアカウントレベルの数値につながります。定着度の指標は、それら遅行指標に対する先行指標です。

シート単位とアカウント単位の定着度

B2BのAIプロダクトは、アカウント単位で販売され、個人によって使われます。そのため、両方の視点が必要です。

アカウント単位の定着度は、顧客が組織として価値を得ているかを問います。いくつのチームが使っているか、プロセスに組み込まれているか、エグゼクティブスポンサーが成果を示せるか、です。

シート単位の定着度は、ライセンスを持つ人のうち実際に使っている人数と、その深さを問います。よくある失敗は、パイロット導入が成功した後に200シートを購入したのに、毎週使っているのは30人というアカウントです。更新の話し合いは未使用ライセンスの話から始まり、買い手の財務チームはあなたより先にそれに気づきます。

有料シートのうちアクティブな割合と、シート間の利用の分布を追跡してください。平均ではパターンが隠れてしまいます。多くの場合、少数のパワーユーザーが利用の大半を占め、残りはほとんどログインしていません。

これらの数値をカスタマーヘルススコアリングに取り込み、カスタマーサクセスチームが更新日よりも先に定着度の低さに気づけるようにしましょう。

利用と価値のギャップ

利用が多くても価値が保証されるわけではなく、利用が少なくても失敗とは限りません。次のケースを区別してください。

価値のない利用。 マネージャーに言われたから、あるいは目新しさが薄れる前に習慣ができたから、ユーザーはプロダクトを開きます。出力は使われません。シグナルは、高い再試行率、大量の編集、低いタスク完了率、そして活動量に見合わないアンケートスコアです。

利用のない価値。 プロダクトがまれだがコストの大きいタスクを処理するため、利用は少なく、成果は大きくなります。

プロダクトのダッシュボードに現れない価値。 効果は別の場所、つまりサイクルタイム、エラー率、チームの処理能力に表れます。Brynjolfsson、Li、RaymondによるNBERの研究Generative AI at Workは、5,179人のカスタマーサポート担当者を対象にAIアシスタントの効果を測定しました。その結果、1時間あたりの解決件数で測った生産性は平均14%向上し、初心者や低スキルの担当者では34%向上した一方、経験豊富で高スキルの担当者への影響はごくわずかでした。創業者にとってのポイントは、見出しの数字ではありません。価値がビジネス成果に対して測定され、ユーザーの種類別に分けられていたこと、そして効果が均一ではなかったことです。定着度の平均を一律に見ていたら、それは隠れていたでしょう。

だからこそ、定着度の指標は、顧客がすでに測定している成果と結びついている必要があります。利用から成果へのつながりを示せなければ、更新を守ることはできません。そのつながりの構築はAIプロダクトのROIとビジネスケースで、パイロット導入の開始前にベースラインを合意する方法は契約につながるAIのパイロット導入で解説しています。

嘘をつかない指標セットの作り方

30もの指標は必要ありません。初期段階のAIプロダクトの実用的なセットは、HEARTの各カテゴリを1回ずつカバーし、1ページに収まります。

Goals、Signals、Metricsの順序に従ってください。「サポートリーダーがチケットをより早く解決する」といった目標を書き、「AIの下書きを採用して完了したチケット」といったシグナルを特定し、それから初めて指標を定義します。

数字を正直に保つための習慣がいくつかあります。

• 社内アカウントとテストアカウントを除外してから、数字を読みます。
• 定義は一度決めたら文書に残します。四半期の途中でアクティベーションの定義を変えると、トレンドが意味をなさなくなります。
• 顧客タイプ別にセグメント化します。 まったく異なる顧客をまとめた平均は、どの顧客も表していません。
• 指標を階層の中に位置づけます。 定着度の指標は、リテンションや収益といった成果へのインプットです。どれが要因でどれが結果かを明確にしておきましょう。

重要なポイント

• HEARTフレームワーク: Happiness、Engagement、Adoption、Retention、Task Successの5つで構成され、ページビューや7日間アクティブユーザー数などのPULSE指標を補完するために、Rodden、Hutchinson、FuがCHI 2010で発表しました。
• 手法: 同じ論文はHEARTをGoals、Signals、Metricsのプロセスと組み合わせており、各指標を明示した目標までさかのぼれるようにしています。
• 定着度は訪問ではなく、タスクの完了で定義します。 論文は、重要なタスクを完了して初めて導入したとみなすべきプロダクトもあると指摘しています。
• 採用率: GitHubのCopilot研究では、表示された提案のうち採用された割合が、感じられる生産性を最もよく予測する利用指標でした(相関0.24、照合されたアンケート回答2,047件)。ただし、説明できないばらつきもかなり残っています。
• 成果に結びつけた測定: 5,179人のサポート担当者における平均14%の生産性向上の裏には、初心者の34%向上と、経験者へのごくわずかな影響が隠れていました。
• 平均よりコホート: リテンションは登録コホート別に読み、下がり続ける曲線ではなく平らになる曲線を探します。
• 2つの視点: アカウントレベルでの組み込み状況に加えて、有料シートのうちアクティブな割合も追跡します。