Metrik Penglibatan Pelajar

Oleh Brian Tr · Dikemas kini 7 Oktober 2026

"Penglibatan" ialah perkataan yang paling kerap digunakan dalam papan pemuka produk pembelajaran dan antara yang paling kurang ditakrifkan. Pelajar yang log masuk setiap hari dan mengklik slaid tanpa membacanya kelihatan sangat terlibat pada carta log masuk. Pelajar yang belajar luar talian selama dua jam kemudian menduduki peperiksaan akhir kelihatan tidak hadir.

Metrik penglibatan pelajar ialah ukuran yang digunakan oleh perniagaan pembelajaran atau pasukan latihan untuk menilai sama ada orang benar-benar mengambil bahagian dalam pembelajaran, bukan sekadar mendaftar. Artikel ini merangkumi apa yang dimaksudkan oleh penyelidik dengan penglibatan, metrik yang dijejak oleh pasukan EdTech dan L&D, cara membezakan penunjuk awal daripada penunjuk lewat, mengapa sesetengah angka ialah metrik kosong, apa yang dikatakan oleh penyelidikan tentang data aktiviti dan hasil, serta peraturan privasi yang terpakai apabila anda mengumpulnya.

Fakta Utama

• Penyelidik lazimnya membahagikan penglibatan kepada tiga bahagian: tingkah laku (penyertaan), emosi (perasaan terhadap pembelajaran) dan kognitif (pelaburan dalam kefahaman). Kajian semula 2004 yang kerap dipetik mengesyorkan supaya ia dikaji sebagai konstruk pelbagai segi (Fredricks, Blumenfeld and Paris, 2004).
• Kebanyakan metrik platform hanya menangkap bahagian tingkah laku. Penglibatan emosi dan kognitif memerlukan tinjauan, penilaian atau data interaksi yang lebih kaya.
• Dalam satu kursus Blackboard Vista, 15 pemboleh ubah penjejakan LMS berkorelasi secara signifikan dengan gred akhir, dan model yang dibina daripada catatan perbincangan, mesej mel dan penilaian yang disiapkan menerangkan lebih 30% variasi gred (Macfadyen and Dawson, 2010).
• Kajian terhadap sembilan kursus sarjana muda teradun (n = 4,134) mendapati bahawa ciri LMS yang meramalkan kejayaan berbeza mengikut kursus, jadi satu model generik boleh melebihkan atau mengurangkan kesannya (Gasevic et al., 2016).
• Di bawah GDPR, data peribadi mesti dihadkan kepada apa yang perlu untuk tujuan yang dinyatakan (GDPR Article 5). Mengumpul setiap klik "sekiranya perlu" bercanggah dengan prinsip itu.

Apa maksud "penglibatan"

Istilah ini datang daripada penyelidikan pendidikan, bukan analitik produk. Fredricks, Blumenfeld dan Paris mengkaji semula literatur penglibatan sekolah pada 2004 dalam Review of Educational Research. Mereka menerangkan penglibatan tingkah laku, emosi dan kognitif serta mengesyorkan supaya penglibatan dianggap sebagai konstruk pelbagai segi, sambil menyatakan bahawa penyelidikan setakat itu mempunyai had dan huraian yang lebih kaya tentang bagaimana pelajar berkelakuan, berasa dan berfikir diperlukan (Fredricks, Blumenfeld and Paris, 2004). Kajian semula mereka adalah tentang pelajar sekolah, jadi pelajar korporat dewasa ialah lanjutan rangka kerja itu, bukan ujian langsung terhadapnya.

Ketiga-tiga bahagian itu mudah diterjemahkan kepada produk pembelajaran.

Intinya ialah papan pemuka yang dibina daripada log sahaja mengukur satu daripada tiga. Itu bukan kelemahan selagi semua orang mengetahuinya. Ia menjadi masalah apabila "skor penglibatan" dilaporkan seolah-olah ia merangkumi ketiga-tiganya.

Metrik teras

Pasukan biasanya menjejak gabungan capaian, aktiviti, kemajuan dan sentimen. Jadual di bawah mentakrifkan yang lazim, memberikan formula tipikal dan menyatakan apa yang terlepas daripada setiap satu. Formula berbeza mengikut syarikat, jadi tuliskan takrifan anda sendiri sebelum membandingkan angka antara pasukan atau vendor.

Beberapa catatan tentang menggunakannya dengan baik.

Tentukan tindakan yang layak dahulu. "Pelajar aktif bulanan" boleh bermakna sesiapa yang membuka aplikasi atau hanya seseorang yang menyiapkan pelajaran atau menjawab soalan. Dua takrifan itu boleh berbeza dengan faktor yang besar. Pilih takrifan yang sepadan dengan nilai yang anda janjikan, dan kekalkannya supaya arah aliran bermakna.

Laporkan taburan, bukan sekadar purata. Masa pada tugasan dan kiraan aktiviti biasanya senget: segelintir pengguna aktif menaikkan purata sementara kebanyakan pelajar melakukan sedikit. Median dan bahagian pelajar di atas ambang memberitahu anda lebih banyak.

Segmenkan. Penglibatan berbeza mengikut kohort, peranan, peranti, jenis kandungan dan sama ada pelajar memilih kursus atau ditugaskan. Angka gabungan menyembunyikan semua itu. Perbezaan antara pembelajaran sukarela dan wajib sahaja boleh mengubah rupa kadar kembali yang "baik".

Pasangkan tingkah laku dengan hasil. Setiap metrik tingkah laku memerlukan pasangan yang menyatakan sama ada apa-apa dipelajari, seperti keputusan penilaian atau ukuran berkaitan pekerjaan. Lebih lanjut di bawah.

Penunjuk awal dan penunjuk lewat

Penunjuk awal bergerak lebih awal dan membantu anda bertindak. Penunjuk lewat mengesahkan apa yang sudah berlaku.

Penunjuk awal termasuk aktiviti minggu pertama, bahagian pelajar yang memulakan pelajaran pertama dalam beberapa hari selepas mendaftar, percubaan kuiz awal, sesi kedua dan catatan perbincangan pertama. Ini memberitahu anda dengan cepat sama ada onboarding berfungsi. Pelajar yang tidak pernah bermula ialah masalah pengekalan yang masih boleh anda perbaiki.

Penunjuk lewat termasuk penyiapan, keputusan penilaian akhir, pensijilan, pembaharuan, dan hasil perniagaan yang ingin diubah oleh latihan. Ini angka yang diambil berat oleh pembeli, tetapi ia tiba selepas terlambat untuk mengubah kohort di hadapan anda.

Langkah yang berguna ialah mengetahui isyarat awal mana yang meramalkan isyarat lewat dalam produk anda sendiri. Jika pelajar yang mencuba kuiz pada minggu pertama menamatkan dengan kadar yang jauh lebih tinggi, itu sesuatu untuk direka bentuk: dorong percubaan pertama. Penyelidikan tentang ramalan di bawah menunjukkan mengapa anda patut menyemaknya secara tempatan dan bukan mengandaikan. Untuk penyiapan khususnya, lihat kadar penyiapan kursus setelah diterbitkan, dan untuk sisi pembelian, bagaimana angka ini masuk ke dalam perbualan pembaharuan dalam membuktikan ROI latihan.

Metrik kosong

Metrik kosong ialah yang mudah dinaikkan, kelihatan bagus dalam laporan dan tidak mengubah keputusan. Dalam produk pembelajaran, suspek biasa ialah:

• Pengguna berdaftar. Mengira pendaftaran, bukan penggunaan. Ia hanya bertambah.
• Jumlah log masuk. Memberi ganjaran kepada pemberitahuan dan peringatan paksa. Peringatan log masuk wajib menggembungkannya tanpa sebarang pembelajaran.
• Jam kandungan yang digunakan. Mencampurkan belajar yang terlibat dengan main automatik dan tab terbuka.
• Penyiapan tanpa penilaian. Jika mengklik "seterusnya" hingga slaid terakhir dikira selesai, maka penyiapan mengukur kesabaran.
• Lencana dan mata diperoleh. Ini boleh berguna dalam reka bentuk permainan, tetapi sebagai angka penglibatan utama ia mengukur permainan, bukan pembelajaran.
• Paparan kursus atau permulaan video. Memulakan bukan menamatkan dan menamatkan bukan memahami.

Ujian pantas: jika angka ini berganda esok, adakah anda tahu sama ada pembelajaran bertambah baik? Jika tidak, ia metrik kosong. Versi yang lebih baik memasangkan aktiviti dengan hasil, contohnya bahagian pelajar yang menjawab sekurang-kurangnya lima soalan latihan dan bertambah baik pada percubaan kedua.

Berhati-hati terutamanya dengan mekanik penglibatan yang menaikkan angka tanpa menaikkan pembelajaran. Mata dan streak boleh menaikkan aktiviti, tetapi sama ada ia membantu bergantung pada reka bentuk, yang merupakan topiknya sendiri dalam gamifikasi dalam pembelajaran.

Adakah penglibatan meramalkan hasil pembelajaran?

Sebahagiannya, dan ia bergantung pada kursus.

Macfadyen dan Dawson menganalisis data penjejakan LMS daripada kursus Blackboard Vista dalam kajian pembuktian konsep yang diterbitkan dalam Computers & Education. Mereka mendapati 15 pemboleh ubah dengan korelasi ringkas yang signifikan dengan gred akhir. Model regresi yang dibina daripada pemboleh ubah termasuk bilangan mesej perbincangan yang disiarkan, mesej mel yang dihantar dan penilaian yang disiapkan menerangkan lebih 30% variasi dalam gred akhir, dan model logistik mengenal pasti dengan betul 81% pelajar yang gagal (Macfadyen and Dawson, 2010). Dua perkara perlu diingat: ia hanya satu kursus, dan menerangkan 30% variasi gred bermakna kebanyakannya tidak dapat diterangkan.

Gasevic, Dawson, Rogers dan Gasevic kemudian menguji idea itu merentasi sembilan kursus sarjana muda yang diajar dalam model teradun, dengan 4,134 pelajar. Dapatan mereka ialah kuasa ramalan dan peramal signifikan berbeza antara model khusus kursus dan model umum. Mereka menyimpulkan bahawa penyelidikan analitik mesti mengambil kira bagaimana teknologi digunakan dalam setiap kursus, dan bahawa mengabaikan keadaan pengajaran boleh melebihkan atau mengurangkan kesan ciri LMS terhadap kejayaan akademik (Gasevic et al., 2016).

Apa maknanya bagi pasukan produk atau L&D:

1. Data aktiviti membawa isyarat sebenar. Penyertaan dan tingkah laku penilaian berkait dengan keputusan, itulah sebabnya papan pemuka amaran awal wajar dibina.
2. Isyarat itu tidak boleh dipindahkan. Peraturan yang berfungsi dalam satu kursus, seperti "kurang daripada X catatan bermakna berisiko," mungkin gagal dalam kursus lain yang perbincangannya tidak dinilai atau dijangka. Sahkan peramal mengikut jenis kursus, dan sahkan semula apabila reka bentuk kursus berubah.
3. Korelasi bukan tuil. Pelajar yang lebih banyak menyiarkan mungkin lebih berjaya kerana mereka sudah bermotivasi. Mendesak semua orang menyiarkan lebih banyak tidak menjamin gred lebih baik. Uji intervensi, bukan sekadar korelasi.
4. Kedua-dua kajian dibuat dalam pendidikan tinggi. Program korporat berbeza: kursus lebih pendek, kurang penggredan, lebih banyak kandungan wajib, dan hasil diukur di tempat kerja. Anggaplah dapatan itu sebagai peringatan tentang kaedah, bukan penanda aras siap pakai.

Untuk bagaimana ini berkait dengan kes perniagaan yang diminta pembeli, lihat perbincangan Kirkpatrick dan Phillips dalam membuktikan ROI latihan.

Penglibatan merentasi jenis produk

Metrik yang betul berubah mengikut model penyampaian.

Katalog kendiri hidup atau mati berdasarkan permulaan, kembali dan penyiapan. Orang boleh pergi tanpa disedari sesiapa, jadi metrik sesi awal paling penting. Lihat pembelajaran berasaskan kohort lwn kendiri untuk sebab penyiapan berbeza begitu banyak antara kedua-dua format.

Program kohort mempunyai struktur kehadiran dan penyertaan yang semula jadi. Kehadiran sesi langsung, penghantaran tugasan dan interaksi rakan sebaya boleh diukur dan bermakna, dan penurunan dari minggu ke minggu mudah dikesan. Ciri komuniti menambah isyaratnya sendiri, dibincangkan dalam komuniti pembelajaran.

Pembelajaran mikro dan pengukuhan menghasilkan banyak peristiwa kecil. Godaannya ialah melaporkan pembukaan dan streak. Ukuran yang lebih baik ialah ketepatan mengingat semula merentasi percubaan berjarak dan sama ada tingkah laku yang disasarkan berubah, seperti dibincangkan dalam pembelajaran mikro dan dalam ulangan berjarak dan lengkung lupa.

Penempatan LMS dan LXP dalam syarikat mempunyai soalan pembeli yang berbeza: adakah sesiapa menggunakan apa yang kami beli? Kategori bertindih tetapi jangkaan penglibatan tidak, seperti yang dihuraikan dalam LMS lwn LXP. Platform yang didorong pelajar dinilai berdasarkan penggunaan sukarela, manakala LMS pematuhan dinilai berdasarkan penyiapan tepat pada masanya.

Produk langganan dan berharga mengikut penggunaan mengaitkan penglibatan dengan hasil secara langsung: penglibatan rendah cenderung muncul sebagai churn semasa pembaharuan, dan pengebilan berdasarkan pelajar aktif menjadikan takrifan "aktif" istilah komersial, bukan sekadar pilihan analitik.

Menangkap data: xAPI dan reka bentuk peristiwa

Kebanyakan platform merekodkan peristiwa asas secara lalai, seperti log masuk, paparan halaman dan penyiapan. Pengukuran yang lebih kaya memerlukan reka bentuk peristiwa yang konsisten. xAPI (Experience API) ialah standard yang diluluskan IEEE, IEEE 9274.1.1, untuk merekodkan pengalaman pembelajaran sebagai pernyataan ringkas dalam corak pelaku, kata kerja dan objek, disimpan dalam Learning Record Store (xAPI.com). Ia boleh menangkap aktiviti dari luar pemain kursus, seperti simulasi, aplikasi mudah alih atau tugasan di tempat kerja.

Anda tidak memerlukan standard untuk bermula, tetapi anda memerlukan kamus peristiwa bertulis yang ringkas: apa nama setiap peristiwa, bila ia dicetuskan dan apa yang dikiranya. Tanpa itu, dua papan pemuka akan melaporkan dua "pelajar aktif" yang berbeza daripada data yang sama.

Privasi dan pengukuran yang bertanggungjawab

Metrik penglibatan ialah data peribadi tentang orang yang boleh dikenal pasti, dan peraturannya bergantung pada siapa pelajar anda.

Di AS, FERPA melindungi privasi rekod pendidikan pelajar dan terpakai kepada agensi dan institusi pendidikan yang menerima dana persekutuan tertentu, dengan keperluan itu meluas kepada penerima secara keseluruhan, termasuk jabatan dalam universiti (U.S. Department of Education, FERPA). Jika produk anda melayani sekolah atau universiti, data pelajar yang anda pegang bagi pihak mereka lazimnya termasuk dalam skop melalui kontrak dengan institusi. Latihan korporat amnya tidak dilindungi oleh FERPA, walaupun undang-undang pekerjaan dan privasi negeri mungkin terpakai.

Di EU dan UK, GDPR terpakai kepada data peribadi orang di bidang kuasa tersebut di mana-mana syarikat anda berada. Article 5 menetapkan prinsip yang paling berkaitan dengan analitik: pengehadan tujuan (kumpul untuk tujuan yang dinyatakan dan jelas), peminimuman data (mencukupi, relevan dan terhad kepada apa yang perlu), pengehadan penyimpanan dan keselamatan (GDPR Article 5).

Amalan praktikal yang menyusul:

• Tentukan tujuan sebelum mengumpul. "Untuk mengesan pelajar yang tersekat pada minggu pertama supaya kami boleh membantu mereka" ialah tujuan. "Semuanya, sekiranya berguna" bukan.
• Kumpul apa yang diperlukan oleh metrik. Masa pada tugasan tidak memerlukan rakaman peringkat ketukan kekunci.
• Bersikap telus dengan pelajar tentang apa yang anda jejak dan siapa yang melihatnya.
• Pisahkan sokongan daripada pengawasan. Menggunakan data penglibatan untuk menawarkan bantuan berbeza daripada menggunakannya untuk meranking atau mendisiplinkan individu. Di tempat kerja, mengaitkan aktiviti pembelajaran dengan semakan prestasi mengubah cara pelajar bertindak dan boleh menyebabkan mereka memanipulasi angka.
• Tetapkan had penyimpanan dan padam atau agregat data yang tidak lagi diperlukan.
• Rujuk peguam untuk situasi anda sendiri. Artikel ini rujukan am, bukan nasihat undang-undang.

Timbunan pengukuran yang ringkas

Bagi pasukan yang bermula dari kosong, minimum yang boleh digunakan kelihatan seperti ini.

1. Satu takrifan bertulis pelajar aktif, dikaitkan dengan tindakan yang bermakna.
2. Tiga penunjuk awal: bermula dalam N hari selepas pendaftaran, sesi kedua, percubaan penilaian pertama.
3. Dua ukuran hasil: penyiapan dengan penilaian, dan satu keputusan yang dikaitkan dengan apa yang diingini pembeli, seperti semakan kemahiran atau metrik pekerjaan.
4. Satu ukuran sentimen, dengan kadar maklum balas ditunjukkan di sebelah skor.
5. Semakan mingguan mengikut segmen, bukan sekadar purata gabungan.
6. Nota privasi yang menyatakan tujuan, penyimpanan dan siapa yang mempunyai akses.

Itu mencukupi untuk membuat keputusan. Tambah lagi hanya apabila soalan tertentu memerlukannya.

Bacaan Berkaitan

• Membuktikan ROI Latihan
• LMS lwn LXP
• Pembelajaran Mikro
• Pembelajaran Berasaskan Kohort lwn Kendiri
• Komuniti Pembelajaran