Kennzahlen zur Adoption von KI-Produkten

Was ist die Adoption von KI-Produkten, dargestellt als an Aufgaben verankerte Messanzeige

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Die Adoption eines KI-Produkts ist der Anteil der vorgesehenen Nutzer, die damit wiederholt eine echte Aufgabe erledigen und dabei bleiben. Es geht nicht um Anmeldungen, Logins oder verkaufte Seats. Diese Zahlen sind leicht zu erheben und schmeicheln fast jedem KI-Produkt, denn Menschen probieren KI-Tools aus Neugier aus, und viele hören nach einer Woche wieder auf.

Diese Seite stellt Gründern ein Messsystem vor: ein Framework, um die Kennzahlen zu ordnen, die spezifischen Kennzahlen, die bei KI zählen, und die Stellen, an denen Nutzung und Wert auseinanderfallen. Es geht darum, wie Sie messen, nicht darum, wie Sie verbessern. Für die Verbesserungsseite lesen Sie Onboarding und Time to Value sowie Churn bei KI-Produkten.

Warum Anmeldungen und Logins in die Irre führen

Bei KI ist das Problem schärfer. Ein typisches KI-Produkt hat eine Neuheitskurve: intensive Nutzung in der ersten Woche, dann ein Rückgang, sobald der Käufer die Grenzen erkennt. Ein Käufer kann außerdem für Seats bezahlen, die niemand öffnet. Und ein Nutzer kann das Produkt jeden Tag verwenden, während das Ergebnis im Papierkorb landet. Auf einem Login-Dashboard sieht jeder dieser Fälle gut aus.

Gute Messung trennt vier Fragen: Haben die Leute angefangen, kommen sie zurück, nutzen sie es intensiv, und funktioniert es? Diese Fragen entsprechen weitgehend einem veröffentlichten Framework. Nutzen Sie also dieses, statt ein eigenes zu erfinden.

Das HEART-Framework

Rodden, Hutchinson und Fu von Google stellten HEART in Measuring the User Experience on a Large Scale (CHI 2010) vor. Es steht für Happiness, Engagement, Adoption, Retention und Task Success. Die Autoren präsentieren es als Satz von Kategorien, aus denen ein Team spezifische Kennzahlen auswählt, nicht als feste Liste von Zahlen.

Was ist das HEART-Framework, dargestellt durch fünf Messinstrumente

Das Paper stellt HEART den sogenannten PULSE-Kennzahlen gegenüber: Seitenaufrufe, Verfügbarkeit, Latenz, Sieben-Tage-aktive Nutzer und Erlöse. PULSE-Kennzahlen sind wichtig, sagen die Autoren, aber sie erfassen die geschäftliche und technische Gesundheit statt der Qualität der Nutzererfahrung. HEART soll sie ergänzen.

Kategorie Was sie fragt Beispiel für ein KI-Produkt
Happiness Mögen die Nutzer es? Daumen hoch oder runter bei Ergebnissen, Zufriedenheitsumfrage
Engagement Wie intensiv und wie oft nutzen sie es? Aufgaben pro aktivem Nutzer pro Woche, aktive Tage pro Woche
Adoption Fangen neue Nutzer an? Anteil neuer Konten, die eine erste echte Aufgabe abschließen
Retention Nutzen sie es weiter? Anteil einer Kohorte aus Woche eins, der in Woche zwölf noch aktiv ist
Task Success Erledigt es die Aufgabe? Ergebnis ohne Änderungen übernommen, Aufgabe vollständig abgeschlossen

Das Paper liefert auch die Arbeitsmethode: Goals, Signals, Metrics. Formulieren Sie zuerst, was ein Produkt oder Feature für Nutzer erreichen soll, benennen Sie dann die Signale, die zeigen würden, dass es eingetreten ist, und bauen Sie aus diesen Signalen Kennzahlen.

Drei Details aus dem Paper gelten direkt für KI-Produkte.

Nicht jede Kategorie passt zu jedem Produkt. Die Autoren merken an, dass Engagement im Unternehmensumfeld wenig aussagekräftig sein kann, wenn von Menschen erwartet wird, das Produkt als Teil ihrer Arbeit zu nutzen. In diesem Fall stützt sich ein Team eher auf Happiness oder Task Success. Die meisten B2B-KI-Produkte befinden sich in genau dieser Lage. Erzwingen Sie also keine Ziele für tägliche Nutzung bei einem Tool, das Menschen öffnen, wenn die Arbeit anfällt.

Berichten Sie Engagement pro Nutzer, nicht in Summe. Das Paper empfiehlt Durchschnittswerte pro Nutzer, weil eine steigende Gesamtzahl von mehr Nutzern statt von mehr Nutzung kommen kann. Ein Gründer, der die gesamten Prompts pro Monat beobachtet, sieht jeden Monat Wachstum, während das Produkt oberflächlich bleibt.

Definieren Sie „adoptiert“ als abgeschlossene Aufgabe. Das Paper sagt, dass bei manchen Produkten schon der Besuch der Website als Nutzung gelten kann, während bei anderen ein Besucher erst dann als adoptiert gilt, wenn er eine zentrale Aufgabe abgeschlossen hat. Für ein KI-Produkt ist die zweite Definition fast immer die richtige.

Aktivierung: die erste echte Nutzung definieren

Aktivierung ist der Moment, in dem ein neuer Nutzer ein erstes Ergebnis erhält, das er behalten wollen würde. Sie liegt zwischen Anmeldung und Gewohnheit, und sie ist die Kennzahl, die am sorgfältigsten definiert werden sollte, weil alles Nachgelagerte von ihr abhängt.

Eine brauchbare Aktivierungsdefinition hat drei Teile:

  1. Eine konkrete Aktion, etwa „hat den ersten Workflow mit echten Daten ausgeführt“ statt „hat ein Konto angelegt“.
  2. Eine Qualitätsbedingung, etwa „hat das Ergebnis übernommen oder exportiert“.
  3. Ein Zeitfenster, etwa „innerhalb der ersten sieben Tage“.

Messen Sie den Anteil neuer Konten, die diese Schwelle erreichen, und die Zeit, die sie dafür brauchen. Wenn sich Ihre Aktivierungsdefinition durch Herumklicken mit Beispieldaten erfüllen lässt, misst sie Neugier. Binden Sie sie an die eigene Arbeit des Nutzers.

Tiefe und Häufigkeit der Nutzung

Nach der Aktivierung lautet die Frage: wie viel und wie oft? Drei Familien von Kennzahlen decken das ab.

Tiefe und Häufigkeit der KI-Nutzung, dargestellt als Kalender-Webstuhl

Häufigkeit. Das Gmail-Beispiel aus dem HEART-Paper ist ein nützliches Muster. Das Gmail-Team wollte ein besseres Engagement-Signal als Sieben-Tage-aktive Nutzer und maß daher den Prozentsatz aktiver Nutzer, die in der letzten Woche an fünf oder mehr Tagen vorbeischauten. Die Autoren berichten, dass diese Kennzahl die längerfristige Retention stark vorhersagte. Die Lehre für KI-Produkte: Wählen Sie eine Häufigkeitsschwelle, die zur Aufgabe passt, und prüfen Sie, ob sie vorhersagt, wer bleibt.

Stickiness-Quoten. DAU/MAU (täglich aktive Nutzer geteilt durch monatlich aktive Nutzer) ist die gängige Kurzform. Sie passt zu Produkten, die täglich genutzt werden, und führt bei Produkten, die bewusst wöchentlich oder monatlich genutzt werden, in die Irre. Wählen Sie das Zeitfenster, das dem natürlichen Rhythmus der Arbeit entspricht, etwa wöchentlich aktive im Verhältnis zu monatlich aktiven Nutzern.

Tiefe. Zählen Sie, was Nutzer pro Sitzung tun, nicht ob sie aufgetaucht sind. Nützliche Tiefensignale für KI-Produkte:

  • Abgeschlossene Aufgaben pro aktivem Nutzer und Woche
  • Anteil der Nutzer, die mehr als eine Art von Aufgabe ausführen
  • Anteil der Arbeit, der über das Produkt läuft, im Vergleich zu anderen Wegen
  • Nutzung von Features mit höherem Einrichtungsaufwand, etwa Integrationen oder gespeicherter Kontext

Ein Produkt, das für eine einzige enge Aufgabe genutzt wird, lässt sich leicht ersetzen. Eines, das in vier Workflows steckt, hat Wechselkosten.

Akzeptanz und Task Success

Hier brauchen KI-Produkte Kennzahlen, die gewöhnliche Software nicht braucht. Ein KI-Ergebnis ist kein Klick, der entweder passiert oder nicht. Der Nutzer kann es übernehmen, bearbeiten oder verwerfen, und jede dieser Entscheidungen ist ein Nutzungssignal.

Akzeptanz und Task Success bei KI, dargestellt als Qualitäts-Sortierblende

Die Akzeptanzrate ist das deutlichste Beispiel. In der GitHub-Studie Productivity Assessment of Neural Code Completion (Ziegler et al., MAPS 2022) definierten die Autoren die Akzeptanzrate als Anteil der angezeigten Vorschläge, die zur Aufnahme in die Quelldatei übernommen wurden. Sie verknüpften Umfrageantworten von 2.047 Nutzern der Copilot-Technical-Preview mit Nutzungsdaten aus der IDE. Die Akzeptanzrate war das Nutzungsmaß, das die wahrgenommene Produktivität der Entwickler am besten vorhersagte, mit einer Korrelation von 0,24, besser als Maße dafür, wie lange übernommener Code unverändert blieb. Die Autoren betonen, dass ein beträchtlicher Teil der Varianz unerklärt blieb und dass sich die Akzeptanzrate eher für grobes Monitoring als für feine Diagnosen eignet.

Lesen Sie das als das, was es ist: eine Korrelation mit selbst eingeschätzter Produktivität bei einem Produkt, unter Preview-Nutzern. Sie stützt die Akzeptanzrate als erstes Signal, nicht als Wertnachweis. Ein Nutzer kann einen mittelmäßigen Vorschlag übernehmen, weil das Bearbeiten weniger Aufwand ist als das Verwerfen.

Bauen Sie statt einer einzigen Kennzahl eine kleine Familie von Kennzahlen auf Aufgabenebene auf:

Kennzahl Definition Was sie Ihnen sagt
Akzeptanzrate Übernommene Ergebnisse geteilt durch angezeigte Ergebnisse Ob Vorschläge auf den ersten Blick nützlich sind
Editierdistanz oder Bearbeitungsrate Wie stark Nutzer übernommene Ergebnisse verändern Ob „übernommen“ auch „gut“ bedeutet
Abschlussrate von Aufgaben Vollständig abgeschlossene Aufgaben geteilt durch begonnene Aufgaben Ob das Produkt die Arbeit zu Ende bringt
Wiederholungsrate Neugenerierungen oder wiederholte Prompts pro Aufgabe Reibung oder Ergebnisse, die danebenliegen
Eskalations- oder Ausweichrate An einen Menschen oder ein anderes Tool zurückgegebene Aufgaben Wo dem Produkt nicht vertraut werden kann

Kombinieren Sie diese mit einer regelmäßigen Qualitätsbewertung, damit eine Veränderung der Akzeptanz nicht falsch gedeutet wird. Wie Sie das aufbauen, lesen Sie unter Vertrauen und Evaluierung bei KI.

Retention-Kohorten

Retention ist die Kennzahl, die ein Produkt von einer Demo unterscheidet. Das HEART-Paper definiert sie als die Zahl der Nutzer aus einem bestimmten Zeitraum, die in einem späteren Zeitraum noch da sind, zum Beispiel der Prozentsatz der Sieben-Tage-aktiven Nutzer einer bestimmten Woche, die drei Monate später noch Sieben-Tage-aktiv sind. Es merkt außerdem an, dass das richtige Intervall variiert: Für manche Produkte passt Woche zu Woche, für andere monatlich oder 90 Tage.

Die übliche Art, sie zu lesen, ist eine Kohortentabelle. Gruppieren Sie Nutzer nach der Woche, in der sie angefangen haben, und verfolgen Sie dann, welcher Anteil jeder Gruppe in jeder späteren Woche noch aktiv ist. Zeilen sind Kohorten, Spalten sind Wochen seit der Anmeldung.

Worauf Sie achten sollten:

  • Eine Kurve, die abflacht. Wenn jede Kohorte abfällt und sich dann bei einem bestimmten Prozentsatz einpendelt, haben Sie einen Kern von Menschen, für die das Produkt funktioniert. Fällt die Kurve weiter Richtung null, haben Sie noch keine Retention.
  • Neuere Kohorten schlagen ältere. Das ist der klarste Beleg, dass Produkt- und Onboarding-Änderungen wirken. Eine gemischte Retention verdeckt das, weil alte Nutzer den Durchschnitt verwässern.

Die Retention auf Nutzerebene fließt in die Kennzahlen auf Kontoebene ein, die unter Net Revenue Retention behandelt werden. Adoptionskennzahlen sind Frühindikatoren für diese Spätindikatoren.

Adoption auf Seat-Ebene vs. Kontoebene

B2B-KI-Produkte werden an Konten verkauft und von Einzelpersonen genutzt. Sie brauchen also beide Sichtweisen.

Adoption auf Seat- vs. Kontoebene: Was ist der Unterschied, dargestellt als Einzelarbeitsplatz und Teamstation

Adoption auf Kontoebene fragt, ob der Kunde als Organisation Wert erhält: wie viele Teams es nutzen, ob es in einen Prozess eingebettet ist, ob ein Executive Sponsor auf ein Ergebnis verweisen kann.

Adoption auf Seat-Ebene fragt, wie viele der Menschen mit Lizenz es tatsächlich nutzen und wie intensiv. Ein häufiges Versagen ist ein Konto, das nach einem erfolgreichen Pilotprojekt 200 Seats gekauft hat, von denen 30 Personen es wöchentlich nutzen. Das Verlängerungsgespräch beginnt mit ungenutzten Lizenzen, und das Finanzteam des Käufers sieht sie, bevor Sie es tun.

Verfolgen Sie den aktiven Anteil der bezahlten Seats und die Verteilung der Nutzung über sie. Ein Durchschnitt verdeckt das Muster. Oft erzeugt eine Handvoll Power-User den Großteil der Nutzung, und der Rest meldet sich kaum an.

Speisen Sie diese Zahlen in das Customer Health Scoring ein, damit Customer Success geringe Adoption sieht, bevor der Verlängerungstermin es tut.

Die Lücke zwischen Nutzung und Wert

Hohe Nutzung garantiert keinen Wert, und geringe Nutzung bedeutet nicht immer Misserfolg. Halten Sie diese Fälle auseinander.

Nutzung ohne Wert. Nutzer öffnen das Produkt, weil eine Führungskraft es angeordnet hat oder weil sich die Gewohnheit gebildet hat, bevor der Reiz des Neuen verflogen war. Ergebnisse bleiben ungenutzt. Signale: hohe Wiederholungsrate, starke Bearbeitung, niedrige Abschlussrate und Umfragewerte, die hinter der Aktivität zurückbleiben.

Wert ohne Nutzung. Das Produkt übernimmt eine seltene, aber kostspielige Aufgabe. Die Nutzung ist also gering, das Ergebnis groß.

Wert, der nicht im Produkt-Dashboard auftaucht. Der Nutzen entsteht anderswo, bei Durchlaufzeiten, Fehlerquoten oder der Kapazität eines Teams. Die NBER-Studie Generative AI at Work von Brynjolfsson, Li und Raymond untersuchte einen KI-Assistenten bei 5.179 Kundenservice-Mitarbeitern. Sie ergab, dass die Produktivität, gemessen als gelöste Anliegen pro Stunde, im Schnitt um 14 Prozent stieg, bei unerfahrenen und gering qualifizierten Mitarbeitern um 34 Prozent, mit minimalem Effekt bei erfahrenen und hoch qualifizierten Mitarbeitern. Für Gründer zählt nicht die Schlagzeilenzahl. Entscheidend ist, dass der Wert an einem Geschäftsergebnis gemessen und nach Nutzertyp aufgeschlüsselt wurde und dass die Gewinne ungleich verteilt waren. Ein flacher Adoptionsdurchschnitt hätte das verborgen.

Deshalb müssen Adoptionskennzahlen an ein Ergebnis anknüpfen, das der Kunde bereits misst. Wenn Sie die Verbindung von Nutzung zu einem Ergebnis nicht zeigen können, können Sie die Verlängerung nicht verteidigen. ROI von KI-Produkten und der Business Case zeigt, wie Sie diese Verbindung aufbauen, und KI-Pilotprojekte, die zu Verträgen werden zeigt, wie Sie die Ausgangsbasis vereinbaren, bevor das Pilotprojekt startet.

Ein Kennzahlenset, das nicht lügt

Sie brauchen keine dreißig Kennzahlen. Ein praxistaugliches Set für ein frühes KI-Produkt deckt jede HEART-Kategorie einmal ab und passt auf eine Seite.

HEART-Kategorie Eine Kennzahl für den Start Prüfrhythmus
Adoption Anteil neuer Konten, die innerhalb von sieben Tagen aktiviert werden Wöchentlich
Engagement Aufgaben pro aktivem Nutzer pro Woche Wöchentlich
Retention Retention in Woche 4 und Woche 12 nach Anmeldekohorte Monatlich
Task Success Akzeptanzrate plus Abschlussrate von Aufgaben Wöchentlich
Happiness Feedback-Wert zu Ergebnissen und eine regelmäßige Zufriedenheitsfrage Monatlich
Kontogesundheit Aktiver Anteil der bezahlten Seats Monatlich

Halten Sie die Reihenfolge Goals, Signals, Metrics ein. Schreiben Sie das Ziel auf, etwa „eine Support-Leitung löst Tickets schneller“, benennen Sie das Signal, etwa „Tickets, die mit einem übernommenen KI-Entwurf geschlossen wurden“, und definieren Sie erst dann die Kennzahl.

Einige Gewohnheiten halten die Zahlen ehrlich:

  • Schließen Sie interne Konten und Testkonten aus, bevor Sie irgendetwas auswerten.
  • Legen Sie Definitionen einmal fest und schreiben Sie sie auf. Wer die Aktivierungsdefinition mitten im Quartal verschiebt, macht Trends bedeutungslos.
  • Segmentieren Sie nach Kundentyp. Durchschnitte über sehr unterschiedliche Kunden beschreiben keinen von ihnen.
  • Ordnen Sie Kennzahlen in Ihre Hierarchie ein. Adoptionskennzahlen sind Inputs für Ergebnisse wie Retention und Umsatz. Halten Sie klar fest, welche Treiber und welche Ergebnisse sind.

Wichtige Fakten

  • HEART-Framework: Happiness, Engagement, Adoption, Retention und Task Success, vorgestellt von Rodden, Hutchinson und Fu auf der CHI 2010 als Ergänzung zu PULSE-Kennzahlen wie Seitenaufrufen und Sieben-Tage-aktiven Nutzern.
  • Methode: Dasselbe Paper kombiniert HEART mit einem Goals-Signals-Metrics-Prozess, sodass jede Kennzahl auf ein formuliertes Ziel zurückgeht.
  • Definieren Sie Adoption über eine abgeschlossene Aufgabe, nicht über einen Besuch; das Paper merkt an, dass manche Produkte einen Nutzer erst dann als adoptiert zählen sollten, wenn eine zentrale Aufgabe abgeschlossen ist.
  • Akzeptanzrate: In der Copilot-Studie von GitHub war der Anteil übernommener angezeigter Vorschläge das Nutzungsmaß, das die wahrgenommene Produktivität am besten vorhersagte (Korrelation 0,24, 2.047 zugeordnete Umfrageantworten), wobei ein beträchtlicher Teil der Varianz unerklärt blieb.
  • Ergebnisbezogene Messung: Ein durchschnittlicher Produktivitätsgewinn von 14 Prozent bei 5.179 Support-Mitarbeitern verbarg einen Gewinn von 34 Prozent bei unerfahrenen Mitarbeitern und minimalen Effekt bei erfahrenen.
  • Kohorten statt Durchschnitte: Lesen Sie Retention nach Anmeldekohorte und achten Sie auf eine Kurve, die abflacht, statt einer, die weiter fällt.
  • Zwei Sichtweisen: Verfolgen Sie den aktiven Anteil der bezahlten Seats ebenso wie die Einbettung auf Kontoebene.

Häufig gestellte Fragen zu Kennzahlen zur Adoption von KI-Produkten

Was ist die wichtigste Adoptionskennzahl für ein KI-Produkt?

Es gibt nicht die eine, aber die Retention nach Anmeldekohorte kommt dem am nächsten. Sie zeigt, ob Menschen weiterhin Wert erhalten, nachdem der Reiz des Neuen verflogen ist, und sie lässt sich nicht durch Anmeldungen oder einmalige Tests aufblähen. Kombinieren Sie sie mit einer Aktivierungsrate, damit Sie sehen, wo neue Nutzer abspringen.

Was ist das HEART-Framework?

HEART ist ein Satz aus fünf Kategorien für nutzerzentrierte Kennzahlen: Happiness, Engagement, Adoption, Retention und Task Success. Die Google-Forscher Rodden, Hutchinson und Fu stellten es auf der CHI 2010 vor, zusammen mit einem Goals-Signals-Metrics-Prozess, um jede Kategorie in konkrete Messgrößen zu übersetzen. Teams wählen die Kategorien, die zu ihrem Produkt passen.

Ist DAU/MAU eine gute Stickiness-Kennzahl für KI-Produkte?

Nur wenn das Produkt für die tägliche Nutzung gedacht ist. Ein Tool, das eine wöchentliche oder monatliche Aufgabe unterstützt, zeigt eine niedrige Quote, selbst wenn Kunden es schätzen. Wählen Sie ein Aktivitätsfenster, das dem natürlichen Rhythmus der Arbeit entspricht, und prüfen Sie, ob die Kennzahl vorhersagt, wer bleibt.

Was ist eine gute Akzeptanzrate für KI-Ergebnisse?

Es gibt keinen universellen Benchmark, denn sie hängt von der Aufgabe, dem Nutzer und der Darstellung der Vorschläge ab. Die GitHub-Studie stellte fest, dass die Akzeptanzrate zwischen Entwicklern und im Zeitverlauf deutlich schwankte. Verfolgen Sie Ihre eigene Rate nach Nutzersegment und im Zeitverlauf, und kombinieren Sie sie mit der Bearbeitungsrate, damit „übernommen“ wirklich nützlich bedeutet.

Wie unterscheiden Sie Nutzung von Wert?

Vergleichen Sie die Produktnutzung mit einem Ergebnis, das der Kunde bereits misst, etwa Lösungszeit oder Fehlerquote. Nutzung ohne Verbesserung bei diesem Ergebnis ist ein Warnsignal. Viele Wiederholungen, starke Bearbeitung und eine niedrige Abschlussrate bei hoher Aktivität deuten darauf hin, dass Menschen das Produkt nutzen, ihm aber nicht vertrauen.

Sollten B2B-KI-Startups Adoption auf Seat- oder auf Kontoebene messen?

Beides. Die Adoption auf Kontoebene zeigt, ob das Produkt in einen Prozess eingebettet ist, und die Adoption auf Seat-Ebene zeigt, wie viele lizenzierte Personen es nutzen. Ein großes Konto mit wenigen aktiven Seats ist ein Verlängerungsrisiko. Verfolgen Sie daher den aktiven Anteil der bezahlten Seats und wie sich die Nutzung über sie verteilt.

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.