Kennzahlen zum Lernendenengagement

Was Kennzahlen zum Lernendenengagement sind, dargestellt durch drei Messinstrumente für Engagement

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

„Engagement“ ist das meistverwendete Wort in Dashboards von Lernprodukten und eines der am wenigsten definierten. Ein Lernender, der sich jeden Tag einloggt und durch Folien klickt, ohne sie zu lesen, wirkt in einem Login-Diagramm hochengagiert. Ein Lernender, der zwei Stunden offline lernt und dann die Abschlussprüfung ablegt, wirkt abwesend.

Kennzahlen zum Lernendenengagement sind die Messwerte, mit denen ein Lerngeschäft oder ein Trainingsteam beurteilt, ob Menschen tatsächlich am Lernen teilnehmen und nicht nur dafür angemeldet sind. Dieser Artikel behandelt, was Forschende unter Engagement verstehen, welche Kennzahlen EdTech- und L&D-Teams verfolgen, wie Sie Leading von Lagging Indicators unterscheiden, warum manche Zahlen Vanity Metrics sind, was die Forschung über Aktivitätsdaten und Ergebnisse sagt und welche Datenschutzregeln bei der Erhebung gelten.

Wichtige Fakten

  • Forschende teilen Engagement üblicherweise in drei Teile: behavioral (Teilnahme), emotional (Gefühle gegenüber dem Lernen) und kognitiv (Investition in das Verstehen). Ein vielzitierter Überblick von 2004 empfiehlt, es als mehrdimensionales Konstrukt zu untersuchen (Fredricks, Blumenfeld und Paris, 2004).
  • Die meisten Plattformkennzahlen erfassen nur den behavioralen Teil. Emotionales und kognitives Engagement erfordern Umfragen, Assessments oder reichhaltigere Interaktionsdaten.
  • In einem Blackboard-Vista-Kurs korrelierten 15 LMS-Tracking-Variablen signifikant mit der Endnote, und ein Modell aus Diskussionsbeiträgen, E-Mail-Nachrichten und abgeschlossenen Assessments erklärte mehr als 30 % der Variation der Note (Macfadyen und Dawson, 2010).
  • Eine Studie zu neun Blended-Bachelorkursen (n = 4.134) ergab, dass sich je nach Kurs unterschied, welche LMS-Funktionen den Erfolg vorhersagten, sodass ein generisches Modell ihren Effekt über- oder unterschätzen kann (Gasevic et al., 2016).
  • Nach der DSGVO müssen personenbezogene Daten auf das für den angegebenen Zweck Notwendige beschränkt sein (DSGVO Artikel 5). Jeden Klick „für alle Fälle“ zu erfassen, widerspricht diesem Grundsatz.

Was „Engagement“ bedeutet

Der Begriff stammt aus der Bildungsforschung, nicht aus der Produktanalyse. Fredricks, Blumenfeld und Paris werteten 2004 in der Review of Educational Research die Literatur zum Engagement in der Schule aus. Sie beschreiben behaviorales, emotionales und kognitives Engagement und empfehlen, Engagement als mehrdimensionales Konstrukt zu behandeln, wobei sie anmerken, dass die bisherige Forschung Grenzen hatte und reichhaltigere Beschreibungen nötig seien, wie Lernende sich verhalten, fühlen und denken (Fredricks, Blumenfeld und Paris, 2004). Ihr Überblick bezog sich auf Schülerinnen und Schüler, erwachsene Lernende im Unternehmen sind daher eine Erweiterung des Rahmens und kein direkter Test.

Die drei Teile lassen sich leicht auf Lernprodukte übertragen.

Typ Was er abdeckt Beispielhafte Signale
Behavioral Teilnahme und Einsatz Logins, begonnene Lektionen, abgegebene Aufgaben, Forenbeiträge, Teilnahme an Live-Sessions
Emotional Reaktionen und Einstellungen Zufriedenheitsbewertungen, Weiterempfehlungswerte, Stimmung in Kommentaren, freiwillige Rückkehr
Kognitiv Geistige Anstrengung und Strategie Qualität der Antworten, Nutzung von Übungsfragen, Zeit bei schwierigen Aufgaben, Selbsterklärung, Anwendung des Stoffs im Job

Der praktische Punkt: Ein Dashboard, das nur aus Logs besteht, misst einen der drei Teile. Das ist kein Fehler, solange alle es wissen. Zum Problem wird es, wenn ein „Engagement-Score“ so berichtet wird, als umfasste er alle drei.

Die zentralen Kennzahlen

Teams verfolgen meist eine Mischung aus Reichweite, Aktivität, Fortschritt und Stimmung. Die Tabelle unten definiert die gängigen, nennt eine typische Formel und sagt, was jede übersieht. Formeln unterscheiden sich von Unternehmen zu Unternehmen, halten Sie also Ihre eigene Definition schriftlich fest, bevor Sie Zahlen zwischen Teams oder Anbietern vergleichen.

Sinnvolle Lernaktivität definieren, dargestellt durch einen Messschieber um einen Lernversuch

Kennzahl Definition Typische Formel Was sie übersieht
Aktive Lernende (DAU, WAU, MAU) Eindeutige Lernende, die an einem Tag, in einer Woche oder in einem Monat eine qualifizierende Aktion ausgeführt haben Anzahl eindeutiger Nutzer mit einem qualifizierenden Ereignis im Zeitfenster Hängt vollständig davon ab, was „qualifizierend“ bedeutet. Ein Login allein sagt wenig
Stickiness Wie oft monatliche Nutzer an einem bestimmten Tag zurückkommen DAU geteilt durch MAU Tägliche Nutzung ist nicht das richtige Ziel für einen Kurs, den man wöchentlich belegt, oder ein Compliance-Modul, das einmal im Jahr ansteht
Zeit auf der Aufgabe Zeit, die in Lernaktivitäten verbracht wird Summe der Sitzungszeit bei Inhalten, Übungen oder Assessments Inaktive Tabs, schlechte Session-Timeouts und schnelle Leser verzerren sie. Lange Zeit kann Verwirrung bedeuten
Logins vs. sinnvolle Aktivität Anteil der Logins, die eine Lernaktion enthalten Sitzungen mit Lektion, Quiz oder Beitrag geteilt durch alle Sitzungen „Sinnvoll“ müssen Sie definieren, und die Definition verändert die Antwort
Fortschritt Wie weit ein Lernender im zugewiesenen Inhalt ist Abgeschlossene Elemente geteilt durch zugewiesene Elemente Abschließen ist nicht Lernen. Lernende können zum Ende springen
Abschlussquote Anteil der eingeschriebenen Lernenden, die fertig werden Absolventen geteilt durch Eingeschriebene Sagt nichts darüber, wie gut sie gelernt haben. Definitionen von Kohorte und Zeitpunkt variieren
Assessment-Versuche Wie oft Lernende Quizze oder Tests versuchen Versuche pro Lernendem und Versuche pro Aufgabe Wiederholungen können Ausdauer oder Raten bedeuten
Teilnahme an Diskussionen Beiträge und Antworten in Foren oder Chats Beiträge und Antworten pro Lernendem, Anteil der Lernenden, die posten Zählt Beiträge ohne Rücksicht auf die Länge gleich. Mitlesen ist auch Lernen
Rückkehrquote Anteil der Lernenden, die nach einer ersten Sitzung wiederkommen Lernende mit einer zweiten Sitzung innerhalb von N Tagen geteilt durch Lernende mit einer ersten Das Fenster N ist willkürlich. Unterscheidet nicht zwischen Rückkehr zum Lernen und Rückkehr, um eine Frist erneut zu prüfen
Zufriedenheit und NPS Meinung der Lernenden zur Erfahrung Umfragewerte oder Prozentsatz der Promotoren minus Detraktoren Niedrige Rücklaufquoten, und zufriedene Lernende lernen nicht immer mehr

Einige Hinweise für den guten Einsatz.

Definieren Sie zuerst die qualifizierende Aktion. „Monatlich aktiver Lernender“ kann jeden bedeuten, der die App geöffnet hat, oder nur jemanden, der eine Lektion abgeschlossen oder eine Frage beantwortet hat. Diese beiden Definitionen können sich um einen großen Faktor unterscheiden. Wählen Sie die Definition, die zu dem Wert passt, den Sie versprechen, und halten Sie sie konstant, damit Trends etwas aussagen.

Berichten Sie Verteilungen, nicht nur Durchschnitte. Zeit auf der Aufgabe und Aktivitätszahlen sind meist schief verteilt: Eine Handvoll intensiver Nutzer zieht den Durchschnitt nach oben, während die meisten Lernenden wenig tun. Mediane und der Anteil der Lernenden über einem Schwellenwert sagen mehr.

Segmentieren Sie. Engagement unterscheidet sich nach Kohorte, Rolle, Gerät, Inhaltstyp und danach, ob der Lernende den Kurs gewählt hat oder ihm zugewiesen wurde. Eine gemischte Zahl verbirgt all das. Allein der Unterschied zwischen freiwilligem und verpflichtendem Lernen kann verändern, wie eine „gute“ Rückkehrquote aussieht.

Verbinden Sie Verhalten mit Ergebnis. Jede Verhaltenskennzahl braucht ein Gegenstück, das sagt, ob etwas gelernt wurde, etwa Assessment-Ergebnisse oder ein jobrelevantes Maß. Mehr dazu weiter unten.

Leading und Lagging Indicators

Ein Leading Indicator bewegt sich früh und hilft Ihnen zu handeln. Ein Lagging Indicator bestätigt, was bereits geschehen ist.

Leading vs. Lagging Indicators: Was ist der Unterschied, dargestellt durch ein frühes Leuchtfeuer und ein fertiges Artefakt

Leading Indicators sind unter anderem die Aktivität in der ersten Woche, der Anteil der Lernenden, die die erste Lektion innerhalb weniger Tage nach der Einschreibung beginnen, frühe Quizversuche, eine zweite Sitzung und der erste Diskussionsbeitrag. Sie zeigen schnell, ob das Onboarding funktioniert. Ein Lernender, der nie beginnt, ist ein Bindungsproblem, das sich noch beheben lässt.

Lagging Indicators sind unter anderem Abschluss, Ergebnisse der Abschlussprüfung, Zertifizierung, Verlängerung und das Geschäftsergebnis, das die Schulung verändern sollte. Das sind die Zahlen, die Käufer interessieren, aber sie kommen, wenn es zu spät ist, die Kohorte vor Ihnen noch zu beeinflussen.

Der nützliche Schritt ist herauszufinden, welche frühen Signale in Ihrem eigenen Produkt die späten vorhersagen. Wenn Lernende, die in Woche eins ein Quiz versuchen, deutlich häufiger abschließen, ist das etwas, worauf Sie hin gestalten können: den ersten Versuch anstoßen. Die unten behandelte Forschung zur Vorhersage zeigt, warum Sie das lokal prüfen sollten, statt es anzunehmen. Zum Abschluss im Besonderen siehe Kursabschlussquoten, sobald der Beitrag veröffentlicht ist, und zur Käuferseite, wie diese Zahlen in Verlängerungsgespräche einfließen, siehe Schulungs-ROI nachweisen.

Vanity Metrics

Eine Vanity Metric ist eine Kennzahl, die leicht wächst, im Bericht gut aussieht und keine Entscheidungen verändert. In Lernprodukten sind die üblichen Verdächtigen:

  • Registrierte Nutzer. Zählt Anmeldungen, nicht Nutzung. Sie wächst nur.
  • Logins insgesamt. Belohnt Benachrichtigungen und erzwungene Erinnerungen. Eine verpflichtende Login-Erinnerung bläht sie auf, ohne dass gelernt wird.
  • Konsumierte Content-Stunden. Vermischt engagiertes Lernen mit Autoplay und offenen Tabs.
  • Abschluss ohne Assessment. Wenn das Klicken auf „Weiter“ bis zur letzten Folie als erledigt zählt, misst der Abschluss Geduld.
  • Verdiente Badges und Punkte. Sie können im Rahmen eines Spieldesigns nützlich sein, aber als Engagement-Hauptzahl messen sie das Spiel, nicht das Lernen.
  • Kursaufrufe oder Videostarts. Beginnen ist nicht Beenden, und Beenden ist nicht Verstehen.

Ein schneller Test: Wenn sich diese Zahl morgen verdoppelte, wüssten Sie, ob das Lernen besser geworden ist? Wenn nicht, ist es eine Vanity Metric. Bessere Varianten koppeln Aktivität mit einem Ergebnis, zum Beispiel der Anteil der Lernenden, die mindestens fünf Übungsfragen beantwortet und sich im zweiten Versuch verbessert haben.

Seien Sie besonders vorsichtig bei Engagement-Mechaniken, die die Zahl erhöhen, ohne das Lernen zu verbessern. Punkte und Streaks können die Aktivität steigern, aber ob sie helfen, hängt vom Design ab, was ein eigenes Thema in Gamification im Lernen ist.

Sagt Engagement Lernergebnisse voraus?

Teilweise, und es hängt vom Kurs ab.

Kann Engagement das Lernen vorhersagen, dargestellt durch eine Linse über lückenhaften Belegen

Macfadyen und Dawson analysierten LMS-Tracking-Daten aus einem Blackboard-Vista-Kurs in einer Proof-of-Concept-Studie, veröffentlicht in Computers & Education. Sie fanden 15 Variablen mit einer signifikanten einfachen Korrelation zur Endnote. Ein Regressionsmodell aus Variablen wie der Zahl der geposteten Diskussionsnachrichten, versendeten E-Mail-Nachrichten und abgeschlossenen Assessments erklärte mehr als 30 % der Variation der Endnote, und ein logistisches Modell identifizierte 81 % der durchgefallenen Studierenden korrekt (Macfadyen und Dawson, 2010). Zwei Dinge sollten Sie dabei bedenken: Es war ein einzelner Kurs, und dass 30 % der Notenvariation erklärt werden, heißt, dass der größte Teil unerklärt blieb.

Gasevic, Dawson, Rogers und Gasevic testeten die Idee dann in neun Bachelorkursen, die im Blended-Modell unterrichtet wurden, mit 4.134 Studierenden. Ihr Ergebnis: Die Vorhersagekraft und die signifikanten Prädiktoren unterschieden sich zwischen kursspezifischen Modellen und einem verallgemeinerten Modell. Sie folgern, dass die Analytics-Forschung berücksichtigen muss, wie Technologie in jedem Kurs eingesetzt wird, und dass das Ignorieren der didaktischen Bedingungen die Effekte von LMS-Funktionen auf den akademischen Erfolg über- oder unterschätzen kann (Gasevic et al., 2016).

Was das für ein Produkt- oder L&D-Team bedeutet:

  1. Aktivitätsdaten enthalten echtes Signal. Teilnahme und Assessment-Verhalten hängen mit Ergebnissen zusammen, weshalb sich Frühwarn-Dashboards lohnen.
  2. Das Signal ist nicht übertragbar. Eine Regel, die in einem Kurs funktioniert, etwa „weniger als X Beiträge bedeuten Risiko“, kann in einem anderen versagen, in dem Diskussion nicht bewertet oder erwartet wird. Validieren Sie Prädiktoren pro Kurstyp und validieren Sie neu, wenn sich das Kursdesign ändert.
  3. Korrelation ist kein Hebel. Lernende, die mehr posten, schneiden vielleicht besser ab, weil sie ohnehin motiviert sind. Alle zum Posten zu drängen, garantiert keine besseren Noten. Testen Sie Interventionen, nicht nur Korrelationen.
  4. Beide Studien stammen aus der Hochschulbildung. Unternehmensprogramme unterscheiden sich: kürzere Kurse, weniger Benotung, mehr verpflichtende Inhalte und Ergebnisse, die am Arbeitsplatz gemessen werden. Verstehen Sie die Befunde als Warnung zur Methode, nicht als fertigen Benchmark.

Wie das mit dem Business Case zusammenhängt, den Käufer verlangen, lesen Sie in der Diskussion zu Kirkpatrick und Phillips unter Schulungs-ROI nachweisen.

Engagement über Produkttypen hinweg

Die richtigen Kennzahlen verschieben sich mit dem Liefermodell.

Selbstlernkataloge stehen und fallen mit Starts, Rückkehr und Abschluss. Menschen können gehen, ohne dass es jemand merkt, daher zählen Kennzahlen aus den frühen Sitzungen am meisten. Warum sich der Abschluss zwischen beiden Formaten so stark unterscheidet, lesen Sie unter kohortenbasiertes Lernen vs. Selbstlernen.

Kohortenprogramme haben eine natürliche Struktur aus Anwesenheit und Teilnahme. Teilnahme an Live-Sessions, Abgabe von Aufgaben und Peer-Interaktion sind messbar und aussagekräftig, und Rückgänge von Woche zu Woche fallen leicht auf. Community-Funktionen bringen eigene Signale mit, die unter Lerngemeinschaften behandelt werden.

Microlearning- und Reinforcement-Produkte erzeugen viele kleine Ereignisse. Die Versuchung ist, Aufrufe und Streaks zu berichten. Die besseren Maße sind die Abrufgenauigkeit über verteilte Versuche und ob sich das angestrebte Verhalten ändert, wie in Microlearning und in verteilte Wiederholung und Vergessenskurve besprochen.

LMS- und LXP-Einführungen im Unternehmen haben eine andere Käuferfrage: Nutzt das jemand, was wir gekauft haben? Die Kategorien überschneiden sich, die Engagement-Erwartungen aber nicht, wie in LMS vs. LXP dargelegt. Lernergesteuerte Plattformen werden an freiwilliger Nutzung gemessen, ein Compliance-LMS an fristgerechtem Abschluss.

Abonnement- und nutzungsabhängig bepreiste Produkte koppeln Engagement direkt an den Umsatz: Niedriges Engagement zeigt sich tendenziell als Churn bei der Verlängerung, und wer nach aktiven Lernenden abrechnet, macht die Definition von „aktiv“ zu einem kommerziellen Begriff und nicht nur zu einer Analytics-Entscheidung.

Daten erfassen: xAPI und Event-Design

Die meisten Plattformen erfassen von Haus aus grundlegende Ereignisse wie Logins, Seitenaufrufe und Abschlüsse. Reichhaltigere Messung erfordert ein konsistentes Event-Design. xAPI (die Experience API) ist ein von der IEEE genehmigter Standard, IEEE 9274.1.1, um Lernerfahrungen als einfache Aussagen nach dem Muster Akteur, Verb und Objekt aufzuzeichnen, gespeichert in einem Learning Record Store (xAPI.com). Er kann Aktivität außerhalb eines Kurs-Players erfassen, etwa aus Simulationen, mobilen Apps oder Aufgaben im Job.

Für den Anfang brauchen Sie keinen Standard, wohl aber ein kurzes schriftliches Event-Wörterbuch: wie jedes Ereignis heißt, wann es ausgelöst wird und was es zählt. Ohne das melden zwei Dashboards aus denselben Daten zwei verschiedene „aktive Lernende“.

Datenschutz und verantwortungsvolle Messung

Engagement-Kennzahlen sind personenbezogene Daten über identifizierbare Menschen, und die Regeln hängen davon ab, wer Ihre Lernenden sind.

Nur notwendige Lerndaten erfassen, dargestellt durch ein selektives Auffanggefäß

In den USA schützt FERPA die Privatsphäre von Bildungsunterlagen von Studierenden und gilt für Bildungsbehörden und -einrichtungen, die bestimmte Bundesmittel erhalten, wobei die Anforderungen für den Empfänger insgesamt gelten, einschließlich Abteilungen innerhalb einer Universität (U.S. Department of Education, FERPA). Wenn Ihr Produkt Schulen oder Hochschulen bedient, fallen Lernendendaten, die Sie in deren Auftrag halten, über den Vertrag mit der Einrichtung in der Regel in den Anwendungsbereich. Betriebliche Weiterbildung wird von FERPA im Allgemeinen nicht erfasst, wohl aber können Arbeitsrecht und einzelstaatliche Datenschutzgesetze gelten.

In der EU und im Vereinigten Königreich gilt die DSGVO für personenbezogene Daten von Menschen in diesen Rechtsräumen, unabhängig vom Sitz Ihres Unternehmens. Artikel 5 legt die für Analytics relevantesten Grundsätze fest: Zweckbindung (Erhebung für festgelegte, eindeutige Zwecke), Datenminimierung (angemessen, erheblich und auf das Notwendige beschränkt), Speicherbegrenzung und Sicherheit (DSGVO Artikel 5).

Praktische Gewohnheiten, die sich daraus ergeben:

  • Legen Sie den Zweck fest, bevor Sie erheben. „Um Lernende zu erkennen, die in Woche eins stocken, damit wir ihnen helfen können“ ist ein Zweck. „Alles, falls es nützlich ist“ nicht.
  • Erheben Sie, was die Kennzahl braucht. Zeit auf der Aufgabe erfordert keine Aufzeichnung auf Tastenanschlagsebene.
  • Seien Sie gegenüber Lernenden transparent, was Sie verfolgen und wer es sieht.
  • Trennen Sie Unterstützung von Überwachung. Engagement-Daten zu nutzen, um Hilfe anzubieten, ist etwas anderes, als damit Einzelne zu ranken oder zu sanktionieren. Am Arbeitsplatz verändert die Kopplung von Lernaktivität an Leistungsbeurteilungen das Verhalten der Lernenden und kann dazu führen, dass sie die Zahlen manipulieren.
  • Legen Sie Aufbewahrungsfristen fest und löschen oder aggregieren Sie Daten, die Sie nicht mehr brauchen.
  • Holen Sie rechtlichen Rat ein für Ihre eigene Situation. Dieser Artikel ist eine allgemeine Referenz, keine Rechtsberatung.

Ein einfacher Messstack

Für ein Team, das bei null anfängt, sieht ein tragfähiges Minimum so aus.

  1. Eine schriftliche Definition eines aktiven Lernenden, gekoppelt an eine sinnvolle Aktion.
  2. Drei Leading Indicators: innerhalb von N Tagen nach Einschreibung begonnen, zweite Sitzung, erster Assessment-Versuch.
  3. Zwei Ergebniskennzahlen: Abschluss mit Assessment und ein Ergebnis, das an das gebunden ist, was der Käufer will, etwa ein Skill-Check oder eine Job-Kennzahl.
  4. Eine Stimmungskennzahl, mit der Rücklaufquote neben dem Wert.
  5. Ein wöchentliches Review nach Segmenten, nicht nur nach gemischtem Durchschnitt.
  6. Ein Datenschutzhinweis mit Zweck, Aufbewahrung und Zugriffsberechtigten.

Das reicht, um Entscheidungen zu treffen. Fügen Sie mehr erst hinzu, wenn eine konkrete Frage es verlangt.

Weiterführende Lektüre

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.