Tingkat Penyelesaian Kursus: Mengapa Peserta Didik Berhenti

Apa Itu Tingkat Penyelesaian Kursus diilustrasikan dengan funnel yang dilewati peserta yang hanya mencicipi

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Tingkat penyelesaian kursus adalah persentase peserta didik yang menamatkan sebuah kursus. Kedengarannya satu angka. Sebenarnya setidaknya ada empat, dan angkanya bisa berbeda satu orde besaran untuk kursus yang sama, tergantung siapa yang dihitung dalam penyebut dan apa yang dianggap "selesai."

Itulah sebabnya angka yang sering dikutip orang tidak saling cocok. Kursus online gratis yang "hanya" diselesaikan 6% pendaftar mungkin berjalan baik-baik saja. Kohort berbayar dengan penyelesaian 90% mungkin menyembunyikan program yang lemah di balik audiens yang sudah terseleksi. Kursus korporat dengan penyelesaian 98% bisa jadi hanya menunjukkan bahwa para manajer mengejar-ngejar orang. Artikel ini membahas arti istilah tersebut, temuan riset publik terbaik, alasan peserta didik berhenti, perbaikan mana yang didukung bukti, dan kapan penyelesaian justru bukan hal yang perlu dilacak.

Fakta Utama

  • Di 39 MOOC dengan data publik, median tingkat penyelesaian adalah 6,5% dari pendaftar, dengan rentang 0,9% hingga 36,1% (Jordan, IRRODL 2014). Jika dihitung terhadap peserta aktif saja, mediannya 9,8%.
  • Pada tahun pertama kursus HarvardX dan MITx, 43.196 dari 841.687 pendaftaran memperoleh sertifikat, sementara 292.852 pendaftar tidak pernah berinteraksi dengan konten (laporan tahun pertama HarvardX dan MITx).
  • Di antara 79.535 responden survei pra-kursus pada sembilan kursus HarvardX, 19,5% dari mereka yang berniat menyelesaikan memperoleh sertifikat, dibandingkan 5,4% dari mereka yang tidak berniat (Reich, 2014).
  • Dalam 565 putaran kursus Harvard dan MIT di edX (5,63 juta peserta didik), 52% pendaftar tidak pernah memasuki courseware, dan tingkat penyelesaian tidak membaik selama enam tahun (Reich dan Ruipérez-Valiente, Science 2019).
  • Sebuah commitment device yang diuji di MOOC Stanford (657 mahasiswa) meningkatkan kemungkinan penyelesaian sebesar 40%, sedangkan pengingat saja tidak menunjukkan efek yang terukur (Patterson, Cornell CHERI).

Apa yang sebenarnya diukur "tingkat penyelesaian"

Label yang sama mencakup empat perhitungan berbeda. Sebelum membandingkan dua angka, periksa dulu angka mana yang sedang Anda lihat.

Penyebut Tingkat Penyelesaian Kursus diilustrasikan dengan empat bejana populasi

Definisi Penyebut Apa yang dihitung selesai Penggunaan umum
Penyelesaian pendaftar Semua orang yang mendaftar Memenuhi kriteria sertifikat Riset MOOC, tolok ukur publik
Penyelesaian peserta aktif Orang yang benar-benar memulai Memenuhi kriteria sertifikat Gambaran kursus yang lebih bersih
Penyelesaian yang disesuaikan niat Orang yang menyatakan berniat menamatkan Memperoleh kredensial Memisahkan penjelajah dari peserta yang berkomitmen
Penyelesaian pelatihan yang ditugaskan Orang yang diwajibkan mengikutinya Selesai sebelum tenggat Kepatuhan dan onboarding

Analisis Jordan menunjukkan betapa pentingnya penyebut. Sekitar 54% pendaftar menjadi peserta aktif. Dengan total pendaftaran, median tingkat penyelesaian adalah 6,5%. Dengan peserta aktif, median naik menjadi 9,8% dan rentangnya melebar menjadi 1,4% hingga 50,1% (Jordan, 2014). Kursus yang sama, penyebut berbeda, headline berbeda.

Program berbayar dan kohort memakai populasi yang lain lagi. Peserta didik mendaftar, membayar, dan diharapkan hadir pada tanggal mulai, sehingga mereka sudah melewati filter yang tidak pernah diterapkan kursus gratis. Membandingkan penyelesaian mereka dengan MOOC berarti membandingkan dua kelompok orang yang berbeda. Artikel pendamping tentang pembelajaran berbasis kohort vs mandiri membahas cara memisahkan efek format dari efek seleksi.

Pelatihan korporat yang ditugaskan adalah kasus yang berbeda sendiri. Ketika manajer atau tenggat kepatuhan memaksa orang menamatkan, tingkat penyelesaian terutama mengukur penegakan aturan. Kami tidak menemukan tolok ukur publik untuk kasus ini yang mendefinisikan populasinya dengan baik, sehingga artikel ini tidak mengutip satu pun.

Apa yang ditunjukkan riset

Bukti publik yang paling cermat berasal dari MOOC. Itu bukan program korporat atau bootcamp berbayar, jadi bacalah angkanya sebagai apa yang terjadi pada peserta didik gratis dengan pendaftaran terbuka, bukan sebagai ramalan untuk produk Anda.

Empat Lintasan Peserta Didik MOOC diilustrasikan dengan empat rute belajar independen

Tolok ukur awal: satu digit

Katy Jordan mengumpulkan angka pendaftaran dan penyelesaian publik dari MOOC yang terdaftar per Juli 2013. Ia mendefinisikan penyelesaian sebagai persentase pendaftar yang memenuhi kriteria sertifikat kursus, karena itulah angka yang paling sering dipublikasikan. Data penyelesaian tersedia untuk 39 kursus. Mediannya 6,5%, rentangnya 0,9% hingga 36,1%, dan angka sekitar 5% adalah yang lazim. Penyelesaian berkorelasi negatif dengan panjang kursus dan tidak bervariasi signifikan menurut tanggal, peringkat universitas, atau total pendaftaran (Jordan, 2014). Jordan juga mengingatkan bahwa menyelesaikan asesmen bukan satu-satunya cara memperoleh manfaat dari sebuah kursus.

Satu tahun HarvardX dan MITx

Laporan tahun pertama HarvardX dan MITx mencakup 17 kursus dari musim gugur 2012 hingga musim panas 2013. Laporan itu mencatat 841.687 pendaftaran dari 597.692 pengguna unik. Dari pendaftaran tersebut, 43.196 memperoleh sertifikat, sekitar 5,1% menurut hitungan kami. Sebanyak 35.937 lainnya menjelajahi separuh atau lebih konten tanpa sertifikasi, 469.702 melihat kurang dari separuh, dan 292.852 tidak pernah berinteraksi dengan konten (laporan HarvardX dan MITx).

Bacalah keempat kelompok itu bersama-sama dan sebuah pola muncul. Sertifikat hanyalah irisan sempit dari orang-orang yang datang, dan ada kelompok besar yang tidak pernah memulai. "Berhenti" sering terjadi sebelum kursus dimulai dalam arti yang berarti.

Niat mengubah gambaran

Justin Reich menganalisis survei pra-kursus dari sembilan kursus HarvardX pada 2013 dan 2014. Dari 79.535 responden, 56% menyatakan berniat menyelesaikan. Dari mereka, 19,5% memperoleh sertifikat. Di antara 44% yang tidak berniat menyelesaikan, 5,4% memperolehnya. Tingkat keseluruhan untuk responden adalah 13,3% (Reich, 2014).

Ada dua cara membacanya. Niat itu penting: orang yang berniat menamatkan hampir empat kali lebih mungkin menamatkan dibandingkan yang tidak. Dan niat saja tidak cukup: sekitar empat dari lima orang yang berniat menamatkan tetap tidak menamatkan. Responden survei juga berbeda dari non-responden, sehingga angka-angka ini menggambarkan responden, bukan semua pendaftar.

Enam tahun kemudian, tidak ada yang bergerak

Reich dan Ruipérez-Valiente meninjau semua kursus HarvardX dan MITx di edX hingga Mei 2018: 565 putaran kursus, 261 kursus, 12,67 juta pendaftaran dari 5,63 juta peserta didik. Mereka menemukan bahwa 52% pendaftar tidak pernah memasuki courseware. Mereka juga melacak penyelesaian untuk tiga kelompok yang saling tumpang tindih: semua peserta, mereka yang menyatakan berniat menyelesaikan, dan mereka yang membayar untuk jalur terverifikasi. Tidak satu pun menunjukkan perbaikan berarti selama enam tahun. Dan kohort terbesar, 1,1 juta peserta didik baru pada 2015-2016, hanya 12% yang mengambil kursus HarvardX atau MITx lainnya pada tahun berikutnya, dengan retensi tahun kedua turun dari 38% pada kohort pertama menjadi 7% pada kohort 2016-2017 (Reich dan Ruipérez-Valiente, 2019).

Sampelnya adalah dua universitas elite di satu platform, sehingga tidak mewakili setiap kursus. Namun ini salah satu dataset terbuka terbesar tentang perilaku peserta didik, dan temuannya lugas: video yang lebih baik, desain yang lebih baik, dan enam tahun riset tidak banyak menggeser penyelesaian. Bahkan peserta didik yang membayar menyelesaikan pada tingkat yang jauh di bawah 100%.

Bukan satu jenis berhenti

Kizilcec, Piech, dan Schneider mengklasifikasikan peserta didik di tiga MOOC ilmu komputer berdasarkan cara mereka berinteraksi dengan video dan asesmen. Metode itu secara konsisten menemukan empat lintasan: menyelesaikan, mengaudit, tidak terlibat lagi, dan mencicipi. Kelompok yang paling menonjol adalah peserta didik yang tetap terlibat sepanjang kursus tanpa mengerjakan asesmen. Para penulis berpendapat bahwa fokus pada penyelesaian mencerminkan pandangan monolitik tentang ketidakterlibatan yang tidak membantu desainer menyasar peserta didik yang berbeda (Kizilcec et al., LAK 2013).

Mengapa peserta didik berhenti

Riset tidak memberi kita satu daftar alasan yang rapi, jadi anggaplah empat hal berikut sebagai tema yang sebagian didukung bukti, bukan peringkat.

Niatnya memang tipis sejak awal. Banyak pendaftar tidak pernah berniat menamatkan. Data Reich menunjukkan 44% responden survei tidak berniat, dan hitungan HarvardX menunjukkan ratusan ribu orang yang nyaris tidak terlibat. Bagi peserta didik ini, pergi bukanlah kegagalan kursus.

Waktu dan tuntutan yang bersaing. Peserta didik dewasa menyelipkan kursus di antara pekerjaan dan keluarga. Kursus yang butuh lima jam seminggu kehilangan orang pada pekan sebuah proyek tiba. Temuan Jordan bahwa kursus yang lebih panjang diselesaikan pada tingkat lebih rendah sejalan dengan hal ini, meski tidak membuktikan alasannya.

Regulasi diri yang lemah. Dalam studi terhadap 4.831 peserta didik di enam MOOC, penetapan tujuan dan perencanaan strategis memprediksi apakah peserta didik mencapai tujuan kursus mereka sendiri, sedangkan mencari bantuan tampak kontraproduktif (Kizilcec et al., Computers and Education 2017). Peserta didik yang merencanakan hasilnya lebih baik. Kebanyakan peserta didik tidak merencanakan.

Tidak ada yang menunggu mereka. Dalam kursus mandiri, tidak ada yang menyadari ketidakhadiran. Tenggat, kohort langsung, dan seseorang yang menunggu hasil kerja Anda mengubah hal itu, dan itulah logika di balik model kohort. Lihat komunitas belajar untuk cara kelompok sebaya menciptakan ekspektasi itu.

Desain kursus juga penting, tetapi bukti bahwa desain saja dapat menggeser penyelesaian lebih lemah daripada yang diisyaratkan kebanyakan vendor. Reich dan Ruipérez-Valiente mencatat bahwa enam tahun investasi dalam pengembangan kursus dan riset pembelajaran tidak menghasilkan kenaikan penyelesaian yang berarti.

Tuas mana yang punya bukti

Inilah yang sudah diuji, beserta populasi yang digambarkan setiap hasil.

Meningkatkan Penyelesaian Kursus diilustrasikan dengan meja kerja komitmen

Struktur dan tenggat

Sebuah studi Finlandia membandingkan dua versi MOOC pemrograman dengan lebih dari 8.000 mahasiswa. Versi jadwal tetap memiliki retensi keseluruhan 45%, versi mandiri 13% (Noponen et al., IEEE FIE 2020). Selisihnya besar, tetapi ringkasannya tidak menyebutkan apakah peserta ditugaskan secara acak, sehingga siapa yang memilih versi mana bisa menjelaskan sebagian selisih itu.

Perbandingan yang lebih bersih menjaga kursusnya tetap sama. Kursus rantai pasok MITx beralih dari dipandu instruktur ke mandiri, dan sebuah tesis learning-analytics melaporkan bahwa penyelesaian turun 6%, tingkat kelulusan turun 10%, dan skor keterlibatan turun 7%, sementara kepuasan tetap sama. Efeknya tidak seragam di semua peserta didik (Bilal, MIT 2019). Jadi pengaturan tempo membantu, tetapi lebih sedikit daripada yang disarankan angka kohort mentah.

Commitment device

Richard Patterson menjalankan eksperimen acak dengan 657 mahasiswa di MOOC Stanford. Alat yang memungkinkan mahasiswa berkomitmen di muka pada batas waktu untuk situs web yang mengganggu menghasilkan 24% lebih banyak waktu di kursus, nilai 0,29 simpangan baku lebih tinggi, dan kemungkinan menyelesaikan 40% lebih tinggi. Alat pengingat dan pemfokus tidak dapat dibedakan secara statistik dari kontrol (Patterson, working paper Cornell CHERI, 2015). Ini hanya satu kursus dengan sampel yang memilih sendiri, tetapi kontrasnya berguna: nudge yang meminta komitmen mengalahkan nudge yang hanya mengingatkan.

Nudge dalam skala besar: lebih kecil dari harapan

Peringatan terkuat datang dari uji terbesar. Kizilcec dan rekan-rekannya menjalankan lima intervensi perilaku di 247 kursus dari Harvard, MIT, dan Stanford, dengan 269.169 mahasiswa selama dua setengah tahun. Intervensinya adalah pembuatan rencana (jangka panjang dan pendek), relevansi nilai, mental contrasting dengan implementation intentions, dan akuntabilitas sosial. Efeknya kira-kira satu orde besaran lebih kecil daripada studi-studi awal yang lebih kecil. Latihan relevansi nilai meningkatkan penyelesaian sekitar 2,8 poin persentase, tetapi hanya untuk peserta didik di negara kurang berkembang pada kursus dengan kesenjangan pencapaian yang besar. Pembuatan rencana meningkatkan keterlibatan awal selama satu atau dua pekan tanpa efek bertahan pada penyelesaian (Kizilcec et al., PNAS 2020).

Pelajaran praktisnya: nudge yang pernah berhasil sekali kemungkinan tidak akan berhasil di mana-mana, jadi uji pada peserta didik Anda sendiri.

Kehadiran instruktur dan sosial

Tomkin dan Charlevoix secara acak menugaskan peserta di MOOC ilmu fisika University of Illinois ke kelompok tanpa interaksi instruktur atau kelompok di mana profesor dan asisten pengajar menjawab komentar forum dan memposting umpan balik mingguan. Keterlibatan instruktur tidak berpengaruh signifikan terhadap penyelesaian keseluruhan, meskipun meningkatkan penyelesaian lencana forum yang menjadi sasaran intervensi (Tomkin dan Charlevoix, L@S 2014). Kehadiran membantu pada hal yang disasarnya. Ini bukan perbaikan penyelesaian yang umum.

Reich dan Ruipérez-Valiente menarik kesimpulan yang lebih keras: riset yang mapan menunjukkan bahwa hubungan antarmanusia lewat penasihat, tutor, dan kelompok sebaya adalah dukungan mahasiswa yang paling penting, dan semua itu berbiaya, yang berbenturan dengan harga murah (Reich dan Ruipérez-Valiente, 2019).

Ringkasan singkat bukti

Tuas Bukti terbaik Kekuatan
Jadwal tetap dan tenggat Studi pengaturan tempo MITx, MOOC pemrograman Finlandia Sedang, sebagian terkacaukan
Commitment device Uji acak, 657 mahasiswa, satu kursus Menjanjikan, satu studi
Pengingat saja Uji acak yang sama Tidak ada efek terukur
Pembuatan rencana, nudge relevansi nilai 247 kursus, 269.169 mahasiswa Kecil, bergantung konteks
Kehadiran instruktur di forum Uji A/B, satu MOOC Tidak berpengaruh pada penyelesaian keseluruhan
Dukungan sebaya dan penasihat Reich dan Ruipérez-Valiente (penalaran dari literatur) Masuk akal, mahal

Untuk ide desain yang sejalan dengan temuan ini, lihat pengulangan berjarak dan kurva lupa untuk penjadwalan, pembelajaran mikro untuk unit yang lebih kecil, dan gamifikasi dalam pembelajaran untuk mekanisme yang dipakai sebagian produk guna membuat orang kembali.

Kapan penyelesaian adalah metrik yang salah

Penyelesaian mudah dihitung, itulah sebabnya ia ada di mana-mana. Ia juga proksi yang buruk dalam beberapa situasi.

Ketika peserta didik punya tujuan berbeda. Pengembang yang menonton tiga video untuk memecahkan masalah lalu pergi sudah mendapat apa yang ia cari. Menghitungnya sebagai peserta yang putus menghukum kursus karena berhasil. Lintasan Kizilcec dan data niat Reich sama-sama menegaskan hal ini.

Ketika kursus tidak linear. Pada konten referensi atau just-in-time, tidak ada yang seharusnya "menamatkan." Konten pendek bergaya pencarian dibuat untuk dipakai sepotong demi sepotong.

Ketika pelatihan yang ditugaskan memenuhi target penyelesaian. Jika tujuannya tingkat penyelesaian 100%, orang akan sekadar mengeklik sampai habis. Angka itu hanya memberi tahu bahwa seseorang mencapai slide terakhir. Angka itu tidak memberi tahu bahwa mereka bisa melakukan sesuatu yang baru.

Ketika sertifikat bukan hasil yang dituju. Jordan mencatat bahwa orang bisa memperoleh manfaat dari kursus tanpa menyelesaikan asesmennya. Laporan HarvardX menemukan sekitar 36.000 pendaftar yang menjelajahi setidaknya separuh konten tanpa sertifikat. Pembeli yang peduli pada kinerja kerja tidak peduli pada jumlah sertifikat.

Pendamping penyelesaian yang lebih baik adalah persentase peserta aktif yang mencapai tonggak bermakna, retensi ke kursus atau modul berikutnya, dan hasil di tempat kerja yang dipedulikan pembeli. Metrik keterlibatan peserta didik menguraikan cara mengukurnya, dan membuktikan ROI pelatihan membahas cara menghubungkannya dengan hasil bisnis.

Apa artinya bagi perusahaan EdTech

Tingkat penyelesaian muncul dalam percakapan penjualan, deck dewan direksi, dan tinjauan perpanjangan. Beberapa kebiasaan menjaganya tetap berguna.

  1. Selalu sebutkan penyebutnya. "Tingkat penyelesaian" tanpa "dari pendaftar" atau "dari peserta aktif" mengundang perbandingan yang keliru.
  2. Lacak funnel sebelum kursus. Jika sebagian besar pendaftar tidak pernah memulai, masalahnya adalah aktivasi, bukan desain kursus. Lihat funnel pendaftaran pembelajaran online.
  3. Segmentasikan menurut niat dan kohort. Rata-rata gabungan menyembunyikan peserta didik yang sebenarnya bisa Anda bantu.
  4. Uji nudge Anda sendiri. Studi 247 kursus menunjukkan bahwa efek menyusut dalam skala besar dan bervariasi menurut konteks, jadi lakukan pilot dan ukur.
  5. Jangan meminjam tolok ukur lintas populasi. Median 6,5% MOOC tidak memprediksi program korporat berbayar, dan angka kohort 90% dari vendor tidak menggambarkan kursus gratis.

Bacaan Terkait

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.