学習者エンゲージメント指標

3つのエンゲージメント計器で示した学習者エンゲージメント指標とは

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

「エンゲージメント」は、学習プロダクトのダッシュボードで最も多く使われる言葉であり、同時に最も定義があいまいな言葉の一つでもあります。毎日ログインし、スライドを読まずにクリックして進める学習者は、ログインのグラフ上では非常にエンゲージしているように見えます。一方、オフラインで2時間勉強してから最終試験を受ける学習者は、不在のように見えます。

学習者エンゲージメント指標とは、学習ビジネスや研修チームが、人々が単に登録しているだけでなく、実際に学習へ参加しているかを判断するために使う測定値です。本記事では、研究者がエンゲージメントという言葉で何を意味するのか、EdTechとL&Dチームが追跡する指標、先行指標と遅行指標の見分け方、一部の数値が虚栄指標である理由、活動データと成果についての研究の知見、そしてデータ収集時に適用されるプライバシールールを取り上げます。

重要なポイント

  • 研究者は一般に、エンゲージメントを3つの要素に分けます。行動的(参加)、感情的(学習に対する感情)、認知的(理解への投資)です。広く引用される2004年のレビューは、これを多面的な構成概念として研究することを勧めています(Fredricks, Blumenfeld and Paris, 2004)。
  • プラットフォームの指標の大半が捉えるのは、行動的な部分だけです。感情的・認知的エンゲージメントには、アンケート、評価、またはより豊富なインタラクションデータが必要です。
  • あるBlackboard Vistaのコースでは、15個のLMSトラッキング変数が最終成績と有意に相関し、ディスカッション投稿数、メール送信数、完了した評価から作ったモデルが、成績のばらつきの30%超を説明しました(Macfadyen and Dawson, 2010)。
  • ブレンド型の学部コース9件(n = 4,134)を対象とした研究では、成功を予測するLMS機能がコースごとに異なっていたため、1つの汎用モデルではその影響を過大または過小に見積もる可能性があります(Gasevic et al., 2016)。
  • GDPRでは、個人データは明示された目的に必要な範囲に限定しなければなりません(GDPR Article 5)。「念のため」にすべてのクリックを収集することは、この原則に反します。

「エンゲージメント」の意味

この用語は、プロダクト分析ではなく教育研究に由来します。Fredricks、Blumenfeld、Parisは、2004年に『Review of Educational Research』誌で学校でのエンゲージメントに関する文献をレビューしました。彼らは行動的、感情的、認知的エンゲージメントを提示し、エンゲージメントを多面的な構成概念として扱うことを勧めています。同時に、それまでの研究には限界があり、生徒がどう行動し、どう感じ、どう考えるかについて、より豊かな記述が必要だとも指摘しています(Fredricks, Blumenfeld and Paris, 2004)。このレビューは学校の生徒を対象にしたものなので、企業の成人学習者への適用は、枠組みの直接的な検証ではなく拡張にあたります。

この3つの要素は、学習プロダクトに容易に置き換えられます。

タイプ 対象範囲 シグナルの例
行動的 参加と努力 ログイン、開始したレッスン、提出した課題、フォーラム投稿、ライブセッションへの出席
感情的 反応と態度 満足度評価、「他の人に勧めたいか」のスコア、コメントの感情、自発的な再訪
認知的 知的な努力と方略 回答の質、練習問題の利用、難問に費やした時間、自己説明、教材の仕事への応用

実務上のポイントは、ログだけで作ったダッシュボードは3つのうち1つしか測っていないということです。全員がそれを理解している限り、問題はありません。「エンゲージメントスコア」があたかも3つすべてをカバーしているかのように報告されたとき、問題になります。

主要な指標

チームは通常、リーチ、活動、進捗、センチメントを組み合わせて追跡します。下の表は、よく使われる指標を定義し、典型的な計算式と、それぞれが見落とす点を示しています。計算式は企業ごとに異なるため、チームやベンダー間で数値を比較する前に、自社の定義を書き出しておきましょう。

学習の試行を測るキャリパーで示した、意味のある学習者の活動の定義

指標 定義 典型的な計算式 見落とす点
アクティブ学習者(DAU、WAU、MAU) 1日、1週間、1か月の間に、条件を満たす行動をした一意の学習者 期間内に条件を満たすイベントがあった一意のユーザー数 「条件を満たす」の意味に完全に依存します。ログインだけでは多くを語りません
スティッキネス 月間ユーザーが、ある日にどれだけ戻ってくるか DAUをMAUで割った値 週1回受講するコースや、年1回のコンプライアンスモジュールでは、毎日の利用は適切な目標ではありません
学習時間 学習アクティビティに費やした時間 コンテンツ、練習、評価でのセッション時間の合計 放置されたタブ、不適切なセッションタイムアウト、読むのが速い学習者が値を歪めます。時間が長いことは混乱を意味する場合もあります
ログインと意味のある活動 学習行動を含むログインの割合 レッスン、クイズ、投稿を含むセッション数を全セッション数で割った値 「意味のある」を定義する必要があり、その定義によって答えが変わります
進捗 学習者が割り当てられたコンテンツのどこまで進んだか 完了した項目数を割り当てられた項目数で割った値 完了は学習ではありません。学習者は最後まで飛ばせます
修了率 登録した学習者のうち、修了した割合 修了者数を登録者数で割った値 どれだけ学んだかは分かりません。コホートやタイミングの定義はさまざまです
評価の受験回数 学習者がクイズやテストに挑戦する頻度 学習者あたりの受験回数と、項目あたりの受験回数 再受験は粘り強さを意味することも、当て推量を意味することもあります
ディスカッションへの参加 フォーラムやチャットでの投稿と返信 学習者あたりの投稿数と返信数、投稿した学習者の割合 長さに関係なく投稿を同等に数えます。読むだけの参加(ROM)も学習です
再訪率 初回セッションの後に戻ってきた学習者の割合 N日以内に2回目のセッションがあった学習者数を、初回セッションがあった学習者数で割った値 期間Nは恣意的です。学ぶための再訪と、締め切りを再確認するための再訪を区別しません
満足度とNPS 体験に対する学習者の意見 アンケートスコア、または推奨者の割合から批判者の割合を引いた値 回答率が低く、満足している学習者がより多く学んでいるとは限りません

これらをうまく使うためのポイントがいくつかあります。

まず、条件を満たす行動を定義します。 「月間アクティブ学習者」は、アプリを開いた人すべてを意味することも、レッスンを完了した人や質問に答えた人だけを意味することもあります。この2つの定義は、大きな倍率で異なることがあります。約束する価値に合った定義を選び、推移に意味を持たせるために固定しておいてください。

平均だけでなく分布も報告します。 学習時間や活動回数は通常、偏った分布になります。ごく少数のヘビーユーザーが平均を押し上げる一方で、大半の学習者はほとんど活動しません。中央値や、しきい値を超える学習者の割合のほうが、多くを教えてくれます。

セグメント化します。 エンゲージメントは、コホート、役割、デバイス、コンテンツの種類、そして学習者がコースを自分で選んだのか割り当てられたのかによって異なります。全体を混ぜた数値は、そのすべてを隠してしまいます。自発的な学習と必須の学習の違いだけでも、「良い」再訪率の見え方が変わることがあります。

行動と成果を組み合わせます。 すべての行動指標には、何かが学ばれたかを示す対となる指標が必要です。評価結果や、仕事に関連する指標などです。詳しくは後述します。

先行指標と遅行指標

先行指標は早い段階で動き、行動を起こす助けになります。遅行指標は、すでに起きたことを確認します。

先行指標と遅行指標:その違いとは、を示す早期のビーコンと完成した成果物

先行指標には、最初の1週間の活動、登録から数日以内に最初のレッスンを開始した学習者の割合、早期のクイズ受験、2回目のセッション、最初のディスカッション投稿があります。これらは、オンボーディングがうまく機能しているかをすぐに教えてくれます。一度も始めない学習者は、まだ対処できる定着の問題です。

遅行指標には、修了、最終評価の結果、認定資格、更新、そして研修が変えようとしていたビジネス成果があります。購入企業が重視する数値ですが、目の前のコホートを変えるには遅すぎるタイミングで得られます。

役に立つのは、自社プロダクトで、どの早期シグナルが遅行指標を予測するかを見つけることです。第1週にクイズを受けた学習者の修了率が大幅に高いなら、それは設計に活かせることです。最初の受験を促しましょう。以下の予測に関する研究は、これを想定せずに自社で確認すべき理由を示しています。修了については、公開された時点でコース修了率を、購入側の観点では、これらの数値が更新の会話にどう反映されるかを研修ROIの証明をご覧ください。

虚栄指標

虚栄指標とは、増やしやすく、レポート上では見栄えがよいものの、意思決定を変えない指標です。学習プロダクトで典型的なものは次のとおりです。

  • 登録ユーザー数。 利用ではなくサインアップを数えます。増える一方です。
  • 総ログイン数。 通知や強制リマインダーに左右されます。必須のログインリマインダーは、学習がなくても数値を膨らませます。
  • コンテンツの消費時間。 真剣な学習と、自動再生や開きっぱなしのタブが混ざります。
  • 評価を伴わない修了。 最後のスライドまで「次へ」をクリックすれば完了と数えるなら、修了率が測っているのは忍耐力です。
  • 獲得したバッジやポイント。 ゲームデザインの中では役立つことがありますが、見出しとなるエンゲージメントの数値としては、学習ではなくゲームを測っています。
  • コースの閲覧数や動画の再生開始数。 始めることは終えることではなく、終えることは理解することではありません。

簡単なテストがあります。この数値が明日2倍になったとき、学習が向上したかどうか分かるでしょうか。分からないなら、それは虚栄指標です。より良い指標は、活動と成果を組み合わせたものです。たとえば、少なくとも5問の練習問題に答え、2回目の受験で成績が向上した学習者の割合などです。

学習を高めずに数値だけを押し上げるエンゲージメントの仕組みには、特に注意してください。ポイントやストリークは活動を増やせますが、それが役立つかどうかは設計次第であり、それ自体が学習におけるゲーミフィケーションという別のテーマです。

エンゲージメントは学習成果を予測するか

部分的には予測しますが、コースによって異なります。

エンゲージメントは学習を予測できるかを示す、部分的な証拠の上のレンズ

MacfadyenとDawsonは、『Computers & Education』誌に掲載した概念実証研究で、Blackboard VistaのコースのLMSトラッキングデータを分析しました。彼らは、最終成績と単純な有意な相関を持つ15個の変数を見つけました。投稿したディスカッションメッセージ数、送信したメール数、完了した評価数などの変数から作った回帰モデルは、最終成績のばらつきの30%超を説明し、ロジスティックモデルは不合格になった学生の81%を正しく特定しました(Macfadyen and Dawson, 2010)。覚えておくべき点が2つあります。対象が1つのコースだけだったこと、そして成績のばらつきの30%を説明できたということは、大半が説明されないまま残ったということです。

その後、Gasevic、Dawson、Rogers、Gasevicは、ブレンド型で行われた学部コース9件、学生4,134名を対象に、この考え方を検証しました。その結果、予測力と有意な予測変数は、コース固有のモデルと汎用モデルの間で異なっていました。彼らは、分析研究は各コースでの技術の使われ方を考慮に入れなければならず、指導条件を無視すると、LMS機能が学業成績に与える影響を過大または過小に見積もる可能性があると結論づけています(Gasevic et al., 2016)。

プロダクトチームやL&Dチームにとっての意味は次のとおりです。

  1. 活動データには実際のシグナルがあります。 参加状況や評価での行動は成果と関連しており、だからこそ早期警告ダッシュボードを作る価値があります。
  2. そのシグナルは移植できません。 あるコースで機能するルール、たとえば「投稿がX件未満なら危険」は、ディスカッションが採点されない、または期待されていない別のコースでは機能しない可能性があります。予測変数はコースタイプごとに検証し、コース設計が変わったら再検証してください。
  3. 相関はレバーではありません。 投稿の多い学習者は、すでに意欲が高いから成績が良いのかもしれません。全員にもっと投稿するよう促しても、成績が上がる保証はありません。相関だけでなく、介入を検証してください。
  4. 2つの研究はどちらも高等教育が対象でした。 企業のプログラムは異なります。コースが短く、採点が少なく、必須コンテンツが多く、成果は職場で測定されます。これらの知見は、そのまま使えるベンチマークではなく、手法に関する注意として扱ってください。

これが購入企業の求めるビジネスケースとどうつながるかは、研修ROIの証明にあるKirkpatrickとPhillipsの議論をご覧ください。

プロダクトタイプ別のエンゲージメント

適切な指標は、提供モデルによって変わります。

自己ペース型カタログは、開始、再訪、修了で決まります。誰にも気づかれずに離脱できるため、セッション初期の指標が最も重要です。2つの形式でなぜこれほど修了率が違うのかは、コホート型と自己ペース型の学習をご覧ください。

コホート型プログラムには、出席と参加の自然な構造があります。ライブセッションへの出席、課題提出、ピア間のやり取りは、測定可能で意味があり、週ごとの低下も簡単に見つけられます。コミュニティ機能には独自のシグナルがあり、学習コミュニティで取り上げています。

マイクロラーニングと定着強化のプロダクトは、小さなイベントを大量に生み出します。つい開封数やストリークを報告したくなりますが、より良い指標は、間隔を空けた試行全体での想起の正確さと、対象とする行動が変わったかどうかです。これはマイクロラーニングや間隔反復と忘却曲線で論じています。

LMSとLXPの導入には、企業内で別の購入者の問いがあります。購入したものを誰かが使っているのか、ということです。カテゴリーは重なりますが、エンゲージメントへの期待は重なりません。詳しくはLMSとLXPの違いに整理しています。学習者主導のプラットフォームは自発的な利用で評価され、コンプライアンス用のLMSは期限内の修了で評価されます。

サブスクリプション型や従量課金型のプロダクトでは、エンゲージメントが収益に直結します。エンゲージメントが低いと更新時に解約として現れる傾向があり、アクティブ学習者に基づいて課金する場合、「アクティブ」の定義は分析上の選択にとどまらず、商業上の条件になります。

データの取得:xAPIとイベント設計

ほとんどのプラットフォームは、ログイン、ページビュー、修了など、基本的なイベントを標準で記録します。より豊かな測定には、一貫したイベント設計が必要です。xAPI(Experience API)は、IEEEが承認した標準規格IEEE 9274.1.1で、学習体験を、アクター、動詞、オブジェクトというパターンの単純なステートメントとして記録し、Learning Record Storeに保存します(xAPI.com)。シミュレーション、モバイルアプリ、実務のタスクなど、コースプレーヤーの外からの活動も取得できます。

始めるのに標準規格は必要ありませんが、短い文書化されたイベント辞書は必要です。各イベントの名称、発火するタイミング、何として数えるかを定めてください。それがなければ、2つのダッシュボードが同じデータから2つの異なる「アクティブ学習者」を報告することになります。

プライバシーと責任ある測定

エンゲージメント指標は、特定可能な個人に関する個人データであり、適用されるルールは学習者が誰かによって異なります。

必要な学習データのみを収集することを示す、選択的な収集容器

**米国では、**FERPAが学生の教育記録のプライバシーを保護しており、特定の連邦資金を受け取る教育機関に適用され、その要件は大学内の部門を含め、受領者全体に及びます(U.S. Department of Education, FERPA)。学校や大学にサービスを提供する場合、その機関に代わって保有する学習者データは、通常、機関との契約を通じて対象範囲に含まれます。企業研修は一般にFERPAの対象外ですが、雇用法や州のプライバシー法が適用される場合があります。

**EUと英国では、**御社の所在地にかかわらず、これらの法域にいる人々の個人データにGDPRが適用されます。第5条は、分析に最も関係する原則を定めています。目的の限定(特定され明示された目的のために収集する)、データの最小化(適切で、関連性があり、必要な範囲に限定する)、保存期間の制限、そしてセキュリティです(GDPR Article 5)。

ここから導かれる実務上の習慣は次のとおりです。

  • 収集する前に目的を決めます。 「第1週でつまずいている学習者を見つけて支援するため」は目的です。「役に立つかもしれないので、すべて」は目的ではありません。
  • 指標に必要なものだけを収集します。 学習時間の測定にキー入力レベルの記録は必要ありません。
  • 学習者に対して透明性を保ちます。 何を追跡し、誰が見るのかを伝えてください。
  • 支援と監視を分けます。 エンゲージメントデータを支援の提供に使うことと、個人のランク付けや懲戒に使うことは別です。職場で学習活動を人事評価に結びつけると、学習者の行動が変わり、数値を操作するようになる可能性があります。
  • **保持期限を設定し、**不要になったデータは削除または集計します。
  • 自社の状況については弁護士に確認してください。 本記事は一般的なリファレンスであり、法的助言ではありません。

シンプルな測定スタック

ゼロから始めるチームにとって、実用的な最小構成は次のとおりです。

  1. **アクティブ学習者の定義を1つ文書化し、**意味のある行動に結びつけます。
  2. **3つの先行指標:**登録からN日以内の開始、2回目のセッション、最初の評価の受験。
  3. **2つの成果指標:**評価を伴う修了と、スキルチェックや業務指標など、購入企業が望むものに結びついた成果1つ。
  4. **1つのセンチメント指標。**スコアの隣に回答率を表示します。
  5. 全体の平均だけでなく、セグメント別の週次レビュー。
  6. 目的、保持期間、アクセス権者を明記したプライバシーに関する注記。

これで意思決定には十分です。具体的な問いが必要とするときにだけ、追加してください。

関連記事

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.