BA-Metriken: Time-to-Insight, Entscheidungswirkung, Stakeholder NPS

Die meisten BAs können "Was hat Ihre Arbeit letztes Quartal verändert?" nicht beantworten, ohne mit den Händen zu wedeln. Sie greifen nach der Ticket-Anzahl. Siebenundvierzig Dashboards ausgeliefert. Zwölfhundert Abfragen ausgeführt. Die Zahlen klingen nach Arbeit, aber niemand im Raum denkt, dass es Antworten sind, auch nicht der BA, der sie ausspricht. Der Head of Analytics nickt höflich. Der VP Data überprüft Slack. Sie spüren, wie der Stuhl kleiner wird.

Das ist der Teil des Business-Analyst-Jobs, den niemand Ihnen beibringt. Sie verbringen drei Jahre damit, SQL, Dashboard-Design und Stakeholder-Interviews zu lernen, und null Stunden damit, Ihre eigene Arbeit zu messen. Dann kommt ein Abschwung, der CFO fragt den VP Data, welche Rollen tragende Säulen sind, und "wir sind beschäftigt" wird zu "wir werden gestrichen."

Unten finden Sie das Messsystem, das ich einem BA IC, der an einen Head of Analytics oder VP Data berichtet, eine Woche vor seinem nächsten QBR überreichen würde. Fünf Metriken, echte Zielbereiche und die Diagnosen, die eine defensive Folie in eine offensive verwandeln. Keine davon sind Vanity-Metriken. Alle sind nächste Woche abrufbar.

Warum die meisten BAs ihre eigene Arbeit nicht messen

Drei echte Gründe, in der Reihenfolge, wie oft ich sie höre.

Das Team ist das Instrument. Der Output eines BA ist Urteilsvermögen, angewendet auf Daten. Das zu messen fühlt sich rekursiv an, als würde man ein Thermometer fragen, wie warm es ist. Also tut es niemand, und das Thermometer wird still von der Wand entfernt.

Die Führung hat nie gefragt. Finance wird gemessen, weil der CFO Finance misst. Sales wird gemessen, weil der Vergütungsplan es kostenlos erledigt. Analytics wird von demjenigen gemessen, der mit einem Messsystem auftaucht, und das war historisch gesehen niemand. Der Standardzustand ist keine Metrik, was auch der Standardpfad zu "Wir wissen nicht wirklich, was sie tun" ist.

Jede Metrik fühlt sich spielbar an. Time-to-Insight? Ich schiebe einfach den Start-Zeitstempel zurück. Dashboard-Nutzung? Ich sende den Link in drei Slack-Kanälen. NPS? Ich befrage nur die Leute, die mich mögen. Alles wahr. Auch alles wahr für jede Metrik in jeder anderen Funktion. Sales-Vertreter sandbagging Prognosen. Marketers wählen die Attribution nach Belieben. Die Antwort ist nicht "keine Metriken", sondern "Metriken plus eine Kultur, die Gaming nicht belohnt."

Der Ausweich unter all drei: "wir sind beschäftigt" als De-facto-KPI. Beschäftigt ist das Erste, was in einem Budget-Review stirbt. Beschäftigt ist die Metrik von Teams, die keine haben.

Die fünf Metriken

Wählen Sie diese, weil sie triangulieren. Geschwindigkeit (Time-to-Insight), Qualität (Entscheidungswirkung), Reichweite (Dashboard-Nutzung), Beziehung (Stakeholder NPS) und operative Gesundheit (Backlog-Alter). Lassen Sie eine fallen und jemand kann argumentieren, Sie optimieren für das Falsche. Zusammen sind sie schwer zu spielen, ohne es offensichtlich zu tun.

1. Time-to-Insight

Mittlere verstrichene Zeit von der Eröffnung einer Anfrage bis zur Antwort in den Händen des Stakeholders. Nicht "an Staging geliefert." Nicht "PR gemergt." In seinen Händen, mit der Lesebestätigung, der Slack-Nachricht oder dem angeklickten Dashboard-Link.

Zielbereich. Median unter 4 Werktagen für Standardanfragen. Median unter 1 Werktag für Tier-1-Exec-Anfragen (CEO, CFO, Head of Product). Wenn Ihr Median 9 Tage beträgt, haben Ihre Stakeholder Sie bereits umgangen und wenden sich an denjenigen Ops-Mitarbeiter, der Sheets schneller macht.

Wie Sie es instrumentieren. Zwei Zeitstempel in Jira oder Linear: Ticket erstellt, Ticket als "an Stakeholder geliefert" markiert. Das ist alles. Versuchen Sie nicht, "Ticket geschlossen" zu messen, weil Tickets an einem Dienstags-Cleanup geschlossen werden, nicht wenn die Arbeit ankam. Wenn Sie überhaupt kein Anfrage-System haben, ist das Metrik null. Richten Sie es ein, bevor Sie weiterlesen.

Fehlermodus. Mitarbeiter und Manager werden beginnen, Tickets zu "liefern", die nicht wirklich fertig sind, damit der Zeitstempel gut aussieht. Gegenmaßnahme: Verknüpfen Sie diese Metrik mit dem Stakeholder NPS, weil eine gefälschte Lieferung innerhalb eines Quartals in den NPS-Kommentaren auftaucht.

2. Entscheidungswirkung

Prozentsatz der gelieferten Analysen, für die ein Stakeholder 30 Tage später eine Entscheidung nennen kann. Das ist die Metrik, vor der die meisten BAs zurückschrecken, weil sie zeigt, wie viel der Arbeit Theater war.

Zielbereich. 60 % oder besser. Beim ersten Mal kommen Sie auf etwa 25-40 %. Das ist normal. Es ist auch die wichtigste Zahl auf der Folie, weil die Lücke zwischen dem, was Sie liefern, und dem, was genutzt wird, der Ort ist, an dem Ihr Platz lebt.

Wie Sie es instrumentieren. Vierteljährlich nehmen Sie eine Stichprobe von 20-30 gelieferten Analysen der letzten 90 Tage. Senden Sie für jede dem Stakeholder ein 3-Fragen-Audit:

1. Erinnern Sie sich an diese Analyse? (ja / nein)
2. Hat sie, falls ja, etwas verändert, das Sie getan haben, eine Option getötet, die Sie in Betracht zogen, oder eine Wette bestätigt, die Sie machen wollten? (verändert / getötet / bestätigt / keines)
3. Falls "keines", war es trotzdem nützlich oder Rauschen? (nützlich / Rauschen)

Punktzahl: Zählen Sie "verändert", "getötet" und "bestätigt" als Entscheidungswirkungs-Treffer. "Nützlich" ist ein Soft-Treffer. "Keines / Rauschen" und "erinnere mich nicht" sind Niederlagen. Teilen Sie Treffer durch Gesamtzahl für den Prozentsatz.

Fehlermodus. Sie werden nur Ihre Lieblings-Stakeholder befragen. Gegenmaßnahme: Die Audit-Liste kommt aus dem Anfrage-System, nicht aus Ihrem Bauchgefühl. Zufällige Stichprobe, auch wenn es wehtut.

3. Dashboard-Nutzung

Wöchentlich aktive Betrachter geteilt durch insgesamt bereitgestellte Betrachter pro Dashboard. Bereitgestellt bedeutet "Personen, denen Sie den Link gegeben haben" oder "Personen in der berechtigten Gruppe." Aktiv bedeutet "das Dashboard mindestens einmal in den letzten 7 Tagen geladen."

Zielbereich. 40 % oder besser für jedes Dashboard, das Sie als "Kern" bezeichnen würden. Unter 10 % für 60 aufeinanderfolgende Tage, wird das Dashboard archiviert. Keine Ausnahmen, auch nicht das, das Ihr VP in Auftrag gegeben und vergessen hat.

Wie Sie es instrumentieren. Die meisten BI-Tools (Looker, Tableau, Metabase, Mode, Hex) stellen dies im Admin-Panel oder über ein Audit-Log bereit. Wenn Ihres das nicht tut, protokollieren Sie Dashboard-Ladevorgänge selbst in einer Nutzungstabelle mit einem serverseitigen Treffer. Ein Samstagnachmittag Arbeit, maximal.

Fehlermodus. "Bereitgestellt" Creep. Sie geben 200 Personen Zugang zu einem Dashboard, das 6 nutzten, und Ihr Nenner zerstört die Quote. Gegenmaßnahme: Definieren Sie "bereitgestellt" als die berechtigte Gruppe zum Zeitpunkt der Dashboard-Erstellung, nicht wen auch immer später durch eine SSO-Gruppe Zugang geerbt hat. Und führen Sie vierteljährlich einen Zugriffsbereinigung durch.

4. Stakeholder NPS

Eine 1-Fragen-Umfrage an die 8-15 Menschen, denen Sie tatsächlich dienen, vierteljährlich ausgeführt: "Wie wahrscheinlich ist es, dass Sie die Zusammenarbeit mit dem Analytics-Team einem Kollegen empfehlen würden, auf einer Skala von 0-10?" Plus eine offene Folgefrage: "Was ist die eine Sache, die wir ändern sollten?"

Zielbereich. +30 oder besser (NPS = % Promotoren minus % Detraktoren, wobei 9-10 ein Promotor ist, 0-6 ein Detraktор, 7-8 passiv). Unter 0 bedeutet, Ihre Stakeholder würden lieber Sheets verwenden. Über +50 bedeutet, Sie sind entweder großartig oder befragen nur Ihre Freunde.

Wie Sie es instrumentieren. Google Form, Typeform, was auch immer. Senden Sie es am ersten Montag des neuen Quartals, schließen Sie es am Freitag. Lesen Sie jeden offenen Kommentar selbst. Delegieren Sie das Lesen nicht an Ihren Manager. Die Kommentare sind die eigentlichen Daten, und sie lassen sich nicht übertragen.

Beim ersten Mal, als ich einen Stakeholder NPS durchführte, erzielte ich +12 und es tat weh. Ein PM hatte geschrieben "schnell, aber ich vertraue den Zahlen nicht." Dieser Kommentar hat geändert, wie ich ein Jahr lang Abgleichsprüfungen aufgebaut habe. Der Wert war weniger nützlich als der Satz darunter, was die Regel mit NPS ist.

Fehlermodus. Stichprobenverzerrung. Sie befragen nur Personen, an die Sie wöchentlich liefern, und verpassen den Exec, der in 90 Tagen nichts gefragt hat, weil er aufgegeben hat. Gegenmaßnahme: Die Stichprobe sind "Personen, die eine offene oder geschlossene Anfrage in den letzten 6 Monaten haben", nicht "Personen, an die ich liefere". Wenn ein Stakeholder still geworden ist, ist das eine Information, und die Umfrage zeigt Ihnen, welche.

5. Ad-hoc-Backlog-Alter

Mittleres Alter der derzeit offenen Ad-hoc-Anfragen, in Werktagen.

Zielbereich. Unter 14 Tagen. Alles über 45 Tage ist ein Signal für "Tod durch tausend Schnitte". Diese Tickets werden nicht erledigt, aber auch nicht geschlossen, und jeder Stakeholder mit einem Ticket dort verliert still das Vertrauen in das Team.

Wie Sie es instrumentieren. Eine Ansicht in Jira oder Linear, die nach Status != geschlossen und Inhaltstyp = Ad-hoc filtert. Nach Alter sortieren. Den Median wöchentlich ziehen.

Fehlermodus. Massenhaftes Schließen veralteter Tickets am Tag vor dem Metrik-Snapshot. Gegenmaßnahme: Verfolgen Sie "Tickets älter als 45 Tage, ohne Lieferung geschlossen" als Nebenmetrik. Wenn es ansteigt, bereinigen Sie den Schrank, nicht die Arbeit.

Die Diagnose "Hohe Nutzung aber geringe Entscheidungswirkung"

Jetzt beginnen die Metriken zusammenzuarbeiten. Ein Dashboard mit 200 wöchentlich aktiven Betrachtern und null benannten Entscheidungen im Wirkungsaudit ist kein erfolgreiches Dashboard. Es ist Tapete. Hübsche Tapete. Teure Tapete. Immer noch Tapete.

Die Diagnose sieht so aus. Drei Signale, alle erforderlich:

1. Dashboard-Nutzung ist hoch (>40 % wöchentlich aktiv).
2. Entscheidungswirkung für Analysen, die mit diesem Dashboard verknüpft sind, ist gering (<20 % der Audit-Stichprobe nennt eine Entscheidung).
3. Der Business-KPI, den es verfolgt, ist flach oder bewegt sich in die falsche Richtung.

Wenn alle drei zutreffen, haben Sie ein Status-Check-Artefakt gebaut, kein Entscheidungsunterstützungs-Artefakt. Menschen schauen darauf, wie sie auf eine Wetter-App schauen, um sich informiert zu fühlen, nicht um zu handeln. Der Board-KPI ist flach, das Dashboard ist beschäftigt, nichts ändert sich.

Drei Schritte zur Behebung, in der Reihenfolge, wie aggressiv Sie sein wollen:

• Dashboard töten, durch ein monatliches Memo ersetzen. Ein 1-seitiges Memo erzwingt Interpretation. Ein Dashboard lässt Menschen entscheiden, dass es bedeutet, was immer sie erhofft haben.
• Eine Entscheidungsfrage direkt ins Dashboard einbauen. Oben auf der Seite: "Wenn diese Metrik diese Woche unter X fällt, werden wir Y tun." Plötzlich hat das Dashboard Zähne, und jemand besitzt das Y.
• Von einem Dashboard auf einen Slack-Alert umstellen. Statische Dashboards sind Pull. Alerts sind Push. Push feuert nur, wenn etwas eine Entscheidung erfordert, was der einzige Zeitpunkt ist, an dem das Betrachten der Daten wichtig ist.

Die Diagnose läuft auch umgekehrt. Geringe Nutzung plus hohe Entscheidungswirkung bedeutet ein Dashboard, das ein oder zwei Execs nutzen, um echte Entscheidungen zu treffen. Das töten Sie nicht. Auch wenn die Nutzungsquote 4 % ist, sind diese 4 Personen der einzige Grund, warum das Dashboard existiert.

Das QBR-Folienmuster

Eine Folie. Fünf Zahlen, letztes Quartal vs. dieses Quartal, plus drei benannte Entscheidungen, die Analytics vorangetrieben hat. Keine Vanity-Charts. Keine Sankeys. Keine "Data-Maturity-Journey"-Diagramme. Das Exec-Publikum hat 90 Sekunden Aufmerksamkeit für Ihre Funktion, und Sie werden 60 davon für ein Diagramm verbringen, wie SQL-Abfragen gewachsen sind, was unrettbar ist.

Hier ist das Format, das ich verwende. Titel oben: "Analytics Q[N] Ergebnisse."

Unter der Tabelle drei Stichpunkte. Überschrift: "Entscheidungen, die Analytics dieses Quartal vorangetrieben hat."

• "EU-Expansionswette getötet (14. Apr.). Pricing-Tier-Analyse zeigte TAM unter 2 Mio. EUR bei unserem aktuellen ICP."
• "SDR-Territory-Modell neu ausgerichtet (3. März). Coverage-Analyse deckte 31 % verschwendete Kapazität in TX/CA auf."
• "Support-Self-Service-Build genehmigt (22. März). Ticket-Deflection-Simulation prognostizierte 18 % Einsparungen, 8 Monate Amortisation."

Datum, die Entscheidung, die Analyse. Das ist die Folie. Die gesamte Folie. Der CFO kann sie in 20 Sekunden lesen, der VP Data hat eine Verteidigung, die er nach oben zitieren kann, und das BA-Team hat eine Messlatte, die es im nächsten Quartal überqueren wird oder ein hartes Gespräch darüber führt, warum nicht.

Was nicht auf der Folie steht: Dashboard-Anzahl, Abfragevolumen, "SQL-Zeilen geschrieben", Tickets geschlossen, #data-help-Slack-Reaktionen, Stunden geleisteter Schulungen, hinzugefügte dbt-Modelle, ausgelieferte Schema-Umgestaltungen. Alle davon sind Vanity-Metriken.

Vanity-Metrik-Fallen

Jede davon wird irgendwo als Metrik vorgeschlagen. Jede belohnt das falsche Verhalten.

Dashboard-Anzahl. Korreliert mit Wildwuchs, nicht mit Wert. Ein Team, das 80 Dashboards pro Jahr ausliefert, hat fast immer ein Nutzungsproblem bei 60 davon. Wenn die Metrik steigt, sinkt die Arbeit.

Abfragevolumen. Korreliert mit Ineffizienz. Ein BA, der diesen Monat 1.200 Abfragen ausführt, ist entweder schlecht in SQL oder hat kein Modell materialisiert, das materialisiert werden sollte. Volumen steigt bedeutet Kosten steigen, nicht Erkenntnisse steigen.

SQL-Zeilen. Inverse Korrelation mit Fähigkeit. Der Senior BA schreibt 40-Zeilen-Abfragen, die der Junior als 400 Zeilen schreibt. Zeilenzahl zu belohnen bedeutet, den Junior zu belohnen.

Tickets geschlossen. Zwei Fehlermodi. Erstens schließen Sie veraltete Tickets, um die Zahl aufzublähen. Zweitens bevorzugen Sie einfache Tickets, weil sie schneller schließen, was bedeutet, dass die schwierigen Anfragen im Backlog verrotten.

Slack-Reaktionen auf #data-help. Selektionsverzerrung im Extremfall. Sie erhalten Reaktionen nur auf Antworten, über die Menschen bereits begeistert sind, was Ihre Stichprobe auf beliebte Arbeit verzerrt, was das Gegenteil von Wirkung ist.

Das Muster über alle fünf: Jede misst Aktivität. Keine misst Ergebnis. Die fünf echten Metriken messen Ergebnis, weshalb sie schwieriger, langsamer und die einzigen sind, die einen Budget-Review überleben.

Was Sie diesen Monat tun sollten

Rollen Sie nicht alle fünf auf einmal aus. Sie werden sie spielen, Ihre Stakeholder werden dem Rollout misstrauen, und die QBR-Folie wird nicht genug Quartale Trenddaten haben, um etwas zu bedeuten.

Wählen Sie stattdessen zwei:

1. Time-to-Insight. Am günstigsten zu instrumentieren (zwei Zeitstempel), höchstes Signal in den ersten 30 Tagen, am schwersten zu widerlegen.
2. Stakeholder NPS. Eine E-Mail, 8-15 Menschen, qualitative Kommentare, die verändern, wie Sie ein Jahr lang arbeiten. Der +12-Schmerz ist mehr wert als 18 Monate Dashboard-Anzahl.

Führen Sie diese zwei ein Quartal lang durch. Fügen Sie am Ende dieses Quartals Entscheidungswirkung hinzu (das Audit benötigt ca. 3 Stunden Stakeholder-Zeit, planen Sie es ein). Schichten Sie im nächsten Quartal Dashboard-Nutzung auf. Das darauffolgende, Ad-hoc-Backlog-Alter. Am Ende von zwei Quartalen haben Sie ein funktionierendes Messsystem, drei QBR-Folien mit Trenddaten und eine vertretbare Antwort auf "Was hat Ihre Arbeit verändert."

Der rote Faden ist folgender. Wenn Sie die Metrik nicht wählen, wird es jemand anderes tun, und er wird "Headcount geteilt durch Budget" wählen, weil das die Metrik ist, die er bereits für alles andere verwendet. Der Business Analyst, der seine eigene Arbeit zuerst misst, ist derjenige, der beim nächsten Abschwung noch im Stuhl sitzt. Alle anderen sind beschäftigt.

Mehr erfahren

• Die BA-Stakeholder-Karte: Wer wirklich entscheidet
• Zombie-Dashboards ohne Politikspiele begraben
• Das Analysten-Einseitige schreiben, das Execs lesen
• Wie ein BA Nein sagt, ohne Brücken zu verbrennen