BAの指標: インサイトまでの時間、意思決定インパクト、ステークホルダーNPS

ほとんどのBAは「先四半期、あなたの仕事は何を変えましたか？」という質問に、手を振って誤魔化すことなしには答えられません。チケット数に手を伸ばします。47枚のダッシュボードをリリースしました。1,200件のクエリを実行しました。その数字は仕事のように聞こえますが、BAが言っている本人を含めて、会議室の誰も答えだとは思っていません。アナリティクスヘッドは丁寧にうなずいています。データVPはSlackを確認しています。席が小さくなっていくのを感じます。

これはビジネスアナリストの仕事の中で誰も訓練してくれない部分です。SQLの学習に3年、ダッシュボードデザイン、ステークホルダーインタビューに費やし、自分の仕事を測定する方法にはゼロ時間です。そして不況が来て、CFOがデータVPにどの役職が重要かを聞き、「私たちは忙しい」が「私たちは削減された」に変わります。

以下は、次のQBRの前週に、アナリティクスヘッドやデータVPに報告するBA ICに渡したい測定システムです。5つの指標、実際の目標範囲、防衛的なスライドを攻撃的なものに変える診断。これらはどれも虚栄の指標ではありません。すべて来週引き出せます。

ほとんどのBAが自分の仕事を測定しない理由

3つの本当の理由を、よく聞く順に挙げます。

チームが計測器です。 BAのアウトプットはデータに適用される判断です。測定すること自体が再帰的に感じられます。体温計に自分がどれだけ暖かいかを尋ねるようなものです。だから誰もしません。そして体温計は壁から静かに外されます。

リーダーシップは尋ねなかった。 財務はCFOが財務を測定するから測定されます。営業は報酬プランが無料で測定してくれます。アナリティクスは測定システムを持って現れた人によって測定されます。歴史的にそれは誰でもなかったです。デフォルト状態は指標なし、これはまた「彼らが何をしているかよくわからない」へのデフォルトパスでもあります。

すべての指標はゲーム可能に感じられます。 インサイトまでの時間？開始タイムスタンプを後ろにずらせばいい。ダッシュボードの使用状況？3つのSlackチャンネルにリンクを送ればいい。NPS？好意的な人だけにアンケートを送ればいい。すべて本当です。他のすべての機能のすべての指標についても同様に本当です。営業担当者は予測をサンドバッグにします。マーケターはアトリビューションを都合よく選びます。答えは「指標なし」ではなく、「指標 + ゲームを報酬としない文化」です。

3つすべての下にある回避策は、デファクトKPIとして「私たちは忙しい」です。忙しいは予算レビューで最初に死ぬものです。忙しいは指標を持たないチームの指標です。

5つの指標

これらを選ぶのは三角測量できるからです。速度（インサイトまでの時間）、品質（意思決定インパクト）、リーチ（ダッシュボードの使用状況）、関係性（ステークホルダーNPS）、運用上の健全性（バックログの古さ）。どれか1つを外すと、誰かが間違った最適化をしていると主張できます。合わせれば、それを明らかにゲームすることなしにゲームするのは難しいです。

1. インサイトまでの時間

依頼が開かれてから答えがステークホルダーの手に届くまでの経過時間の中央値。「ステージングに納品」ではありません。「PRがマージ済み」でもありません。手に届いた、読み取り確認またはSlackメッセージまたはダッシュボードリンクがクリックされた状態。

目標範囲。 標準的な依頼の中央値は4営業日以内。ティア1のエグゼクティブ依頼（CEO、CFO、プロダクトヘッド）の中央値は1営業日以内。中央値が9日なら、ステークホルダーはすでにあなたを迂回して、Sheetsをより速く作るオペレーション担当者に向かっています。

計測方法。 JiraまたはLinearに2つのタイムスタンプ: チケット作成、チケットを「ステークホルダーに納品済み」とマーク。それだけです。「チケットクローズ」を測定しようとしないでください。チケットは仕事が完了したときではなく、火曜日のクリーンアップ時にクローズするからです。まったくリクエストシステムがないなら、それが指標ゼロです。これ以上読む前に設置してください。

失敗モード。 担当者とマネージャーは、タイムスタンプを良く見せるために実際には完了していないチケットを「納品済み」にし始めます。対抗策: この指標をステークホルダーNPSに結びつけます。偽の納品は1四半期以内にNPSのコメントに現れるからです。

2. 意思決定インパクト

納品された分析のうち、30日後にステークホルダーが意思決定を名指しできる割合。これはほとんどのBAが尻込みする指標です。仕事のどれだけが演劇だったかを露わにするからです。

目標範囲。 60%以上。初めて実行すると、25から40%の数字が出ます。それは普通です。スライドで最も重要な数字でもあります。なぜなら、リリースしたものと使われたものの差が、あなたの席が存在する場所だからです。

計測方法。 四半期ごとに、過去90日間の納品済み分析から20から30件のサンプルを取ります。それぞれについて、3つの質問による監査でステークホルダーにピンを送ります。

1. この分析を覚えていますか？（はい/いいえ）
2. はいの場合、あなたが行ったことを変えましたか、検討していた選択肢を消しましたか、それとも下したかった賭けを確認しましたか？（変えた/消した/確認した/なし）
3. 「なし」の場合、それでも役立ちましたか、それともノイズでしたか？（役立った/ノイズ）

スコア: 「変えた」「消した」「確認した」を意思決定インパクトの勝利としてカウント。「役立った」はソフトな勝利。「なし/ノイズ」と「覚えていない」は負け。勝利を合計で割ってパーセンテージを得ます。

失敗モード。 お気に入りのステークホルダーだけを監査します。対抗策: 監査リストはリクエストシステムから来ます、あなたの直感からではありません。たとえ痛くても、ランダムサンプルです。

3. ダッシュボードの使用状況

ダッシュボードごとに、プロビジョニング済みビューワー数に対する週間アクティブビューワー数。プロビジョニング済みとは「リンクを渡した人」または「権限グループの人」を意味します。アクティブとは「過去7日間に少なくとも1回ダッシュボードを読み込んだ」を意味します。

目標範囲。 「コア」と呼ぶすべてのダッシュボードで40%以上。60連続日で10%未満なら、そのダッシュボードはアーカイブされます。VPが委任して忘れたものを含め、例外はありません。

計測方法。 ほとんどのBIツール（Looker、Tableau、Metabase、Mode、Hex）は管理パネルまたは監査ログでこれを公開しています。自分のBIツールがそうでない場合、サーバーサイドのヒットで使用状況テーブルにダッシュボードの読み込みを自分でログします。最大で土曜日の午後の作業です。

失敗モード。 「プロビジョニング済み」のクリープ。6人が使うダッシュボードに200人のアクセスを与えると、分母が比率を破壊します。対抗策: 「プロビジョニング済み」をダッシュボード作成時の権限グループとして定義します。後でSSOグループを通じてアクセスを継承した人ではなく。そして四半期ごとにアクセスクリーンアップを実施します。

4. ステークホルダーNPS

実際に対応している8から15人の人間への四半期1回の1問アンケート。「0から10のスケールで、アナリティクスチームとの協力を同僚に薦める可能性はどれくらいですか？」プラス1つのオープンエンドのフォローアップ: 「私たちが変えるべき1つのことは何ですか？」

目標範囲。 +30以上（NPS = プロモーターの割合 - デトラクターの割合、9から10がプロモーター、0から6がデトラクター、7から8がパッシブ）。0未満はステークホルダーがSheetsの方を好むことを意味します。+50以上は優秀かあなたの友人だけにアンケートしているかのどちらかです。

計測方法。 Google Form、Typeform、何でも。新四半期の第1月曜日に送り、金曜日に締め切ります。すべてのオープンエンドのコメントを自分で読みます。マネージャーへの読み込みを委任しないでください。コメントが実際のデータであり、翻訳できないからです。

初めてステークホルダーNPSを実施したとき+12を取り、刺さりました。あるPMが「速いが数字を信頼できない」と書いていました。そのコメントは1年間、調整チェックの構築方法を変えました。スコアは下のコメントより役に立ちませんでした。それがNPSのルールです。

失敗モード。 サンプルバイアス。毎週納品する人だけにアンケートし、90日間何も依頼しなかったエグゼクティブを見逃します。あなたに見切りをつけたからです。対抗策: サンプルは「過去6ヶ月にオープンまたはクローズした依頼がある人」であり、「私が納品する人」ではありません。ステークホルダーが静かになっている場合、それは情報です。アンケートがそれを知る方法です。

5. アドホックバックログの古さ

現在オープンなアドホック依頼の中央値年齢（営業日）。

目標範囲。 14日以内。45日を超えるものは何千もの傷による死のシグナルです。それらのチケットは完了していませんが、クローズもされていません。そこにチケットを持つすべてのステークホルダーがチームへの信頼を静かに失っています。

計測方法。 JiraまたはLinearで、ステータス != クローズかつコンテンツタイプ = アドホックでフィルターしたビュー。古さでソート。毎週中央値を引き出します。

失敗モード。 指標スナップショットの前日に古いチケットを一括クローズすること。対抗策: 「45日以上経過してから納品なしでクローズされたチケット」をサイド指標として追跡します。スパイクすれば、押し入れを掃除しているのであり、仕事ではありません。

「使用状況は高いが意思決定インパクトが低い」の診断

ここで指標が連携し始めます。週間アクティブビューワーが200人いて、インパクト監査で名指しされた意思決定がゼロのダッシュボードは、成功したダッシュボードではありません。壁紙です。きれいな壁紙です。高価な壁紙です。それでも壁紙です。

診断はこのようになります。3つのシグナル、すべて必要:

1. ダッシュボードの使用状況が高い（週間アクティブ40%以上）。
2. そのダッシュボードに紐付いた分析の意思決定インパクトが低い（監査サンプルの20%未満が意思決定を名指しする）。
3. 追跡しているビジネスKPIが横ばいまたは間違った方向に動いている。

3つすべてが当てはまるとき、ステータス確認のアーティファクトを作ったのであり、意思決定支援のアーティファクトではありません。人々は天気アプリを見るように、行動するためではなく情報を得るために見ています。ボードKPIは横ばいで、ダッシュボードは忙しく、何も変わりません。

どの程度積極的になりたいかの順で、修正する3つの手:

• ダッシュボードを廃止し、月次メモに置き換える。 1ページのメモは解釈を強制します。ダッシュボードは人々が望む意味を決めさせます。
• ダッシュボード自体に意思決定の質問を組み込む。 ページの上部に: 「この指標が今週Xを下回ったら、Yを行う。」突然ダッシュボードに歯が生え、誰かがYを所有します。
• ダッシュボードからSlackアラートに移行する。 静的ダッシュボードはプル型です。アラートはプッシュ型です。プッシュは何かが意思決定を必要とするときだけ発火します。それがデータを見ることが重要な唯一の時間です。

診断は逆にも機能します。使用状況が低く意思決定インパクトが高い場合、1人か2人のエグゼクティブが本当の判断をするために使っているダッシュボードです。そちらは廃止しないでください。使用比率が4%でも、その4人がダッシュボードが存在する全理由です。

QBRスライドのパターン

スライド1枚。前四半期と今四半期を比較した5つの数字、プラスアナリティクスが動かした3つの名指しされた意思決定。虚栄のグラフなし。サンキー図なし。「データ成熟度の旅」の図なし。エグゼクティブの聴衆は自機能に90秒の注意しかなく、そのうち60秒をSQLクエリがどう増えたかのグラフに費やせば、回復不可能です。

私が実行するフォーマット。上部のタイトル: 「アナリティクス Q[N] 成果」。

表の下に3つの箇条書き。見出し: 「今四半期アナリティクスが動かした意思決定。」

• 「EU拡大への賭けを中止した（4月14日）。価格ティア分析が現在のICPで€200万未満のTAMを示した。」
• 「SDRテリトリーモデルを見直した（3月3日）。カバレッジ分析がテキサス/カリフォルニアで31%の無駄なキャパシティを明らかにした。」
• 「サポートセルフサービス構築を承認した（3月22日）。チケット偏向シミュレーションが18%のコスト削減、8ヶ月の回収を予測した。」

日付、判断、分析。それがスライドです。スライド全体です。CFOは20秒で読め、データVPは上向きに引用できる防衛を持ち、BAチームは来四半期に超えるバーを持ち、超えられない場合にはなぜかについて難しい会話があります。

スライドにないもの: ダッシュボード数、クエリ量、「書かれたSQLの行数」、クローズされたチケット、#data-helpのSlackリアクション、提供されたトレーニングの時間、追加されたdbtモデル、リリースされたスキーマ再設計。これらはすべて虚栄の指標です。

虚栄の指標の罠

これらはそれぞれどこかで指標として提案されています。どれも間違った行動を報酬にします。

ダッシュボード数。 価値ではなく、広がりと相関します。年間80枚のダッシュボードをリリースするチームには、そのうち60枚に使用問題があります。指標が上がると、仕事が下がります。

クエリ量。 非効率と相関します。今月1,200件のクエリを実行するBAは、SQLが下手か、マテリアライズすべきモデルをマテリアライズしていないかのどちらかです。量が上がるとはコストが上がることであり、インサイトが上がることではありません。

SQLの行数。 スキルと逆相関します。シニアBAが40行で書くものをジュニアは400行で書きます。行数を報酬にするとジュニアを報酬にすることになります。

クローズされたチケット。 2つの失敗モード。1つ目、数字を増やすために古いチケットをクローズします。2つ目、クローズが速いから簡単なチケットに偏ります。つまり難しい依頼がバックログで腐ります。

#data-helpのSlackリアクション。 極端な選択バイアス。すでに興奮している答えにしかリアクションが来ません。これはサンプルを人気のある仕事に偏らせます。それはインパクトの反対です。

5つすべてのパターン: それぞれが活動を測定しています。成果を測定するものは1つもありません。5つの本当の指標は成果を測定します。だからより難しく、より遅く、予算レビューで生き残る唯一のものです。

今月すべきこと

5つすべてを一度に展開しないでください。ゲームするようになり、ステークホルダーがロールアウトを信頼しなくなり、QBRスライドには意味のある傾向データを示すのに十分な四半期がありません。

代わりに2つ選びます。

1. インサイトまでの時間。 計測が最も安い（2つのタイムスタンプ）、最初の30日で最もシグナルが高い、反論が最も難しい。
2. ステークホルダーNPS。 メール1通、8から15人、1年間の仕事の仕方を変える定性的なコメント。+12の刺さりは18ヶ月分のダッシュボード数より価値があります。

この2つを1四半期実施します。その四半期の終わりに、意思決定インパクトを追加します（監査はステークホルダーの時間の約3時間を必要とします、計画してください）。次の四半期にダッシュボードの使用状況を重ねます。その次にアドホックバックログの古さを。2四半期の終わりには、機能する測定システム、3四半期分のQBRの傾向データ、「あなたの仕事は何を変えたか」への弁護可能な答えができています。

通奏低音はこれです。指標を選ばなければ、誰かが選びます。そしてその人は「ヘッドカウント割るバジェット」を選びます。それが彼らがすでに他のすべてに使っている指標だからです。自分の仕事を最初に測定するビジネスアナリストが、次の不況でも席に座っている人です。他のみんなは忙しいだけです。

関連記事

• BAステークホルダーマップ: 実際に決定権を持つのは誰か
• 政治なしにゾンビダッシュボードを廃止する
• エグゼクティブが読むアナリスト1ページャーの書き方
• BAが橋を燃やさずにノーと言う方法