コース修了率:学習者が離脱する理由

サンプリング型の離脱を迂回する経路を持つファネルで表したコース修了率とは

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

コース修了率とは、コースを最後までやり遂げた学習者の割合のことです。1つの数字のように聞こえますが、実際には少なくとも4種類あり、分母に誰を含めるか、何をもって「修了」とするかによって、同じコースでも桁違いに変わり得ます。

だからこそ、巷で引用される数字は噛み合いません。受講登録者のうち「わずか」6%しか修了しない無料のオンラインコースが、実は順調ということもあります。修了率90%の有料コホートは、選抜された受講者層の陰に弱いプログラムを隠しているかもしれません。修了率98%の企業研修は、単にマネージャーが受講者を追いかけた結果かもしれません。本記事では、この用語の意味、公開されている優れた研究で分かったこと、学習者が離脱する理由、根拠のある改善策、そして修了率を追うべきでない場面を解説します。

重要なポイント

  • 公開データのある39のMOOCで、修了率の中央値は受講登録者の6.5%(範囲は0.9%から36.1%)でした(Jordan、IRRODL 2014)。アクティブな受講生のみを分母にすると、中央値は9.8%でした。
  • HarvardXとMITxのコースの初年度では、841,687件の登録のうち43,196件が修了証を取得し、292,852人の登録者はコンテンツに一度も触れませんでした(HarvardXとMITxの初年度レポート)。
  • HarvardXの9つのコースで、講座開始前アンケートに回答した79,535人のうち、修了するつもりだった人の19.5%が修了証を取得したのに対し、そのつもりがなかった人は5.4%でした(Reich、2014年)。
  • edX上のHarvardとMITの565のコース実施回(学習者563万人)では、登録者の52%が一度も教材に入らず、修了率は6年間で改善していませんでした(Reich and Ruipérez-Valiente、Science 2019)。
  • スタンフォード大学のMOOC(受講生657人)で試験されたコミットメント装置は、修了する可能性を40%高めましたが、リマインダーだけでは測定可能な効果はありませんでした(Patterson、Cornell CHERI)。

「修了率」が実際に測っているもの

同じ呼び名の下に、4つの異なる計算が含まれています。2つの数字を比べる前に、どの計算なのかを確認してください。

4つの母集団の器で表したコース修了率の分母

定義 分母 修了とみなす条件 典型的な用途
登録者ベースの修了率 登録した全員 修了証の基準を満たした MOOC研究、公開ベンチマーク
アクティブ学習者ベースの修了率 実際に学習を始めた人 修了証の基準を満たした コース自体をより正確に見る指標
意図調整後の修了率 修了するつもりだと答えた人 資格を取得した 見るだけの人と本気の学習者の切り分け
受講指定研修の修了率 受講が義務づけられた人 期限までに完了した コンプライアンスとオンボーディング

Jordanの分析は、分母がいかに重要かを示しています。登録者のうちアクティブな受講生になったのは約54%でした。登録者総数を使うと修了率の中央値は6.5%、アクティブな受講生を使うと中央値は9.8%に上がり、範囲も1.4%から50.1%に広がりました(Jordan、2014年)。同じコースでも、分母が違えば見出しの数字も変わります。

有料プログラムやコホート型プログラムは、さらに別の母集団を使います。学習者は応募し、支払い、開始日に参加することが想定されているため、無料コースにはない選抜をすでに通過しています。その修了率をMOOCと比べることは、2つの異なる集団を比べることになります。関連記事のコホート型学習と自己ペース学習では、形式の効果と選抜の効果を切り分ける方法を扱っています。

企業の受講指定研修は例外です。マネージャーやコンプライアンスの期限によって修了が強制される場合、修了率が主に測るのは徹底度です。母集団がきちんと定義された公開ベンチマークは見つからなかったため、本記事では数値を引用していません。

研究で分かっていること

最も慎重に行われた公開エビデンスはMOOCから得られています。これらは企業プログラムでも有料ブートキャンプでもないため、数値は、無料で誰でも登録できる学習者に起きたこととして読み、自社製品の予測としては読まないでください。

4つの独立した学習ルートで表したMOOC学習者の4つの軌跡

初期のベンチマーク:1桁台

Katy Jordanは、2013年7月時点でリストされていたMOOCの公開された登録者数と修了者数を集めました。修了は、コースの修了証の基準を満たした登録者の割合と定義しました。それが最も多く公表されていた数字だったためです。修了データが得られたのは39コースで、中央値は6.5%、範囲は0.9%から36.1%、典型的な値は5%前後でした。修了率はコースの長さと負の相関があり、日付、大学のランキング、登録者総数による有意な違いはありませんでした(Jordan、2014年)。Jordanは、課題を終えることだけがコースから得られる利益ではない、という注意も述べています。

HarvardXとMITxの1年間

HarvardXとMITxの初年度レポートは、2012年秋から2013年夏までの17コースを対象としました。597,692人のユニークユーザーによる841,687件の登録が集計されています。そのうち43,196件が修了証を取得しており、筆者の計算では約5.1%にあたります。さらに35,937件は修了証なしで内容の半分以上を学習し、469,702件は半分未満しか閲覧せず、292,852件はコンテンツに一度も触れませんでした(HarvardXとMITxのレポート)。

4つのグループをあわせて見ると、あるパターンが浮かびます。修了証は、参加した人のごく一部にすぎず、大きな集団は一度も始めていません。「離脱」は、コースが意味のある形で始まる前に起きていることが多いのです。

意図が全体像を変える

Justin Reichは、2013年と2014年のHarvardXの9つのコースで、講座開始前のアンケートを分析しました。回答者79,535人のうち、56%が修了するつもりだと答えました。そのうち19.5%が修了証を取得しています。修了するつもりがなかった44%のうち、修了証を取得したのは5.4%でした。回答者全体の修了率は13.3%でした(Reich、2014年)。

これには2つの読み方があります。意図は重要で、修了するつもりだった人は、そうでなかった人の4倍近い確率で修了しました。しかし意図だけでは十分でもなく、修了するつもりだった人の約5人に4人は、それでも修了しませんでした。また、アンケートの回答者は非回答者と異なるため、これらの割合は全登録者ではなく回答者について述べたものです。

6年後も、何も動かなかった

ReichとRuipérez-Valienteは、2018年5月までのedX上のHarvardXとMITxの全コースを調べました。対象は565のコース実施回、261コース、563万人の学習者による1,267万件の登録です。登録者の52%が一度も教材に入っていないことが分かりました。さらに、3つの重なるグループ(全参加者、修了するつもりだと答えた人、認証付きトラックに支払った人)の修了率も追跡しました。6年間で、どれにも意味のある改善は見られませんでした。最大のコホートである2015年から2016年の新規学習者110万人のうち、翌年にHarvardXまたはMITxの別のコースを受講したのは12%にとどまり、2年目の継続率は最初のコホートの38%から、2016年から2017年のコホートでは7%に低下しました(Reich and Ruipérez-Valiente、2019年)。

サンプルは1つのプラットフォーム上の2つのエリート大学であり、すべてのコースを代表するわけではありません。しかし、学習者行動に関する最大規模の公開データセットの1つであり、その結論は率直です。より良い動画、より良い設計、6年間の研究を経ても、修了率はほとんど動きませんでした。支払いをした学習者でさえ、修了率は100%に遠く及びませんでした。

離脱は1種類ではない

Kizilcec、Piech、Schneiderは、3つのコンピュータサイエンスのMOOCで、学習者を動画と課題の関わり方によって分類しました。この手法では、修了、聴講、離脱、サンプリングという4つの軌跡が一貫して見つかりました。特に注目すべきグループは、課題を受けずにコース全体を通じて関わり続けた学習者でした。著者らは、修了への注目は、離脱を一枚岩として捉える見方の表れであり、異なる学習者を狙う設計者の役には立たないと論じています(Kizilcec et al.、LAK 2013)。

学習者が離脱する理由

研究は、理由をきれいに1つのリストにまとめてくれるわけではありません。以下は、エビデンスが部分的に裏付ける4つのテーマであり、順位づけではありません。

そもそも意図が薄かった。 多くの登録者は、最後までやり遂げるつもりがありませんでした。Reichのデータでは、アンケート回答者の44%にそのつもりがなく、HarvardXの集計では、ほとんど関わらなかった人が数十万人いました。こうした学習者にとって、離れることはコースの失敗ではありません。

時間と競合する要求。 成人学習者は、仕事や家庭の合間にコースを組み込みます。週に5時間が必要なコースは、プロジェクトが山場を迎えた週に学習者を失います。長いコースほど修了率が低いというJordanの発見はこれと整合しますが、理由を証明するものではありません。

自己調整の弱さ。 6つのMOOCにわたる4,831人の学習者を対象にした研究では、目標設定と戦略的な計画が、学習者が自分のコース目標に到達できるかどうかを予測し、助けを求める行動は逆効果のように見えました(Kizilcec et al.、Computers and Education 2017)。計画を立てる学習者の方が良い成果を出しますが、ほとんどの学習者は計画を立てません。

誰も待っていない。 自己ペースのコースでは、誰も欠席に気づきません。締め切り、ライブのコホート、課題を待っている人の存在は、その状況を変えます。これがコホート型モデルの論理です。ピアグループがその期待をどう生み出すかについては、学習コミュニティをご覧ください。

コース設計も重要ですが、設計だけで修了率が動くというエビデンスは、多くのベンダーが示唆するより弱いものです。ReichとRuipérez-Valienteは、コース開発と学習研究への6年間の投資が、修了率の意味のある向上につながらなかったと指摘しています。

どの施策にエビデンスがあるか

これまでに検証されたものを、各結果が示す母集団とともに紹介します。

コミットメントの作業台で表したコース修了率の改善

構造と締め切り

フィンランドの研究では、8,000人超の受講生がいるプログラミングMOOCの2つのバージョンを比較しました。固定スケジュール版の全体の継続率は45%、自己ペース版は13%でした(Noponen et al.、IEEE FIE 2020)。大きな差ですが、要約には学習者が無作為に割り当てられたかどうかが記されておらず、誰がどちらのバージョンを選んだかが、差の一部を説明している可能性があります。

より厳密な比較として、コースを同一に保った例があります。MITxのサプライチェーンのコースを講師ペースから自己ペースに移したところ、ラーニングアナリティクスの学位論文によると、修了率は6%、合格率は10%、エンゲージメントスコアは7%低下し、満足度は変わりませんでした。効果はすべての学習者で均一ではありませんでした(Bilal、MIT 2019年)。つまり、ペース配分は効果がありますが、コホートの生の数字が示すほど大きくはありません。

コミットメント装置

Richard Pattersonは、スタンフォード大学のMOOCで657人の受講生を対象に無作為化実験を行いました。気が散るウェブサイトの利用時間に上限を事前に設定できるツールを使った受講生は、コースに費やす時間が24%増え、成績は標準偏差で0.29高く、修了する可能性は40%高くなりました。リマインダーや集中ツールは、対照群と統計的に区別できませんでした(Patterson、Cornell CHERIワーキングペーパー、2015年)。単一のコースで、自己選択のサンプルでしたが、この対比は有益です。コミットメントを求めるナッジは、リマインドするだけのナッジに勝ったのです。

大規模なナッジ:期待より小さい効果

最も強い警告は、最大規模のテストから得られています。Kizilcecらは、ハーバード、MIT、スタンフォードの247コースで、2年半にわたり269,169人の受講生を対象に、5つの行動介入を実施しました。介入の内容は、計画づくり(長期と短期)、価値の関連づけ、実行意図を伴う心的対比、社会的な説明責任でした。効果は、それ以前の小規模な研究に比べておよそ1桁小さいものでした。価値の関連づけの演習は修了率を約2.8ポイント高めましたが、それは達成度の差が大きいコースにいる、発展途上国の学習者に限られていました。計画づくりは、1、2週間の序盤のエンゲージメントを高めましたが、修了率への持続的な効果はありませんでした(Kizilcec et al.、PNAS 2020)。

実務上の教訓は、一度うまくいったナッジがあらゆる場所で機能するとは限らないため、自社の学習者でテストすべきだということです。

講師と社会的存在感

TomkinとCharlevoixは、イリノイ大学の物理科学MOOCの参加者を、講師との交流なしのグループと、教授とティーチングアシスタントがフォーラムのコメントに答え、毎週フィードバックを投稿するグループに無作為に割り当てました。講師の関与は全体の修了率に有意な影響を与えませんでしたが、介入が狙ったフォーラムバッジの取得率は高めました(Tomkin and Charlevoix、L@S 2014)。存在感は、それが狙った対象には効果があります。ただし、修了率全般の万能薬ではありません。

ReichとRuipérez-Valienteは、さらに厳しい結論を引き出しています。確立された研究によれば、アドバイザー、チューター、ピアグループを通じた人とのつながりが最も重要な学習者支援であり、それにはコストがかかるため、低価格とは相反するというものです(Reich and Ruipérez-Valiente、2019年)。

エビデンスの簡単なまとめ

施策 最良のエビデンス 強さ
固定スケジュールと締め切り MITxのペース配分の研究、フィンランドのプログラミングMOOC 中程度(一部交絡あり)
コミットメント装置 無作為化テスト、受講生657人、1コース 有望だが単一の研究
リマインダーのみ 同じ無作為化テスト 測定可能な効果なし
計画づくり、価値の関連づけのナッジ 247コース、受講生269,169人 小さく、状況に依存
フォーラムでの講師の存在感 A/Bテスト、1つのMOOC 全体の修了率への効果なし
ピアとアドバイザーの支援 Reich and Ruipérez-Valiente(文献に基づく推論) もっともらしいが高コスト

これらの知見に合う設計のアイデアとしては、スケジューリングについての間隔反復と忘却曲線、小さな単位にするマイクロラーニング、人を呼び戻すために一部の製品が使う仕組みについての学習におけるゲーミフィケーションをご覧ください。

修了率が不適切な指標になる場面

修了率は数えやすいため、あらゆる場所で使われています。しかし、いくつかの状況では適切な代理指標ではありません。

学習者の目的が異なるとき。 問題を解決するために3本の動画を見て離れた開発者は、求めていたものを得ています。その人を離脱者として数えることは、機能しているコースを罰することになります。Kizilcecの軌跡も、Reichの意図のデータも、この点を示しています。

コースが直線的でないとき。 リファレンス型やジャストインタイム型のコンテンツでは、誰も「修了」すべきではありません。短い、検索型のコンテンツは、部分的に使われるように作られています。

受講指定の研修が修了目標を満たそうとするとき。 目標が修了率100%であれば、人は内容を読まずにクリックして進みます。その数字が示すのは、誰かが最後のスライドに到達したことだけで、新しいことができるようになったかどうかは分かりません。

修了証が成果ではないとき。 Jordanは、課題を修了しなくてもコースから利益を得られると指摘しました。HarvardXのレポートでは、修了証なしで内容の少なくとも半分を学習した登録者が約36,000人いました。仕事のパフォーマンスを重視する買い手は、修了証の数を気にしません。

修了率を補う優れた指標は、アクティブな学習者のうち意味のあるマイルストーンに到達した人の割合、次のコースやモジュールにわたる継続率、そして買い手が重視する現場での成果です。これらの測り方は学習者エンゲージメント指標で、ビジネス成果との結びつけ方は研修ROIの証明で解説しています。

EdTech企業にとっての意味

修了率は、営業の商談、取締役会の資料、更新レビューに登場します。いくつかの習慣を持てば、この指標を有用に保てます。

  1. 常に分母を明示する。 「登録者の」や「アクティブな学習者の」を付けない「修了率」は、不適切な比較を招きます。
  2. コースの前のファネルを追跡する。 登録者の大部分が一度も始めていないなら、問題はコース設計ではなくアクティベーションです。オンライン学習の受講登録ファネルをご覧ください。
  3. 意図とコホートで分けて見る。 混ぜた平均値は、実際に支援できる学習者を見えなくします。
  4. 自社のナッジをテストする。 247コースの研究は、効果が規模の拡大で縮小し、状況によって異なることを示しているため、パイロットを実施して測定してください。
  5. 母集団をまたいでベンチマークを借りない。 MOOCの中央値6.5%は有料の企業プログラムを予測せず、ベンダーの90%というコホートの数字は無料コースを表しません。

関連記事

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.