Model Kirkpatrick untuk Penilaian Latihan
Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
Tanyalah sebuah bilik penuh profesional pembelajaran bagaimana mereka menilai latihan, dan sebilangan besar akan menjawab "Kirkpatrick." Model empat peringkat ini ialah perbendaharaan kata lalai dalam bidang tersebut. Ia muncul dalam papan pemuka vendor, dalam RFP, dalam silabus pensijilan dan pada slaid pertama hampir setiap bengkel pengukuran.
Namun begitu, ia sering digunakan secara longgar. Orang menyebut "Tahap 4" tanpa mentakrifkannya, atau menganggap peringkat-peringkat itu sebagai tangga yang didaki selepas kursus tamat. Artikel ini ialah rujukan tentang model itu sendiri: dari mana asalnya, apa maksud setiap peringkat dan cara mengukurnya, bagaimana kemas kini New World mengubah cara model ini sepatutnya digunakan, apa yang didapati salah oleh literatur penyelidikan, dan bagaimana menggunakannya tanpa menipu diri sendiri. Jika anda berminat dengan sudut komersial, artikel pendamping tentang membuktikan ROI latihan kepada pembeli membincangkan cara penjual membina kes perniagaan berdasarkan idea-idea ini.
Fakta Utama
- Model ini mempunyai empat peringkat: Reaksi, Pembelajaran, Tingkah Laku dan Hasil. Kirkpatrick Partners mengiktiraf Dr. Donald Kirkpatrick sebagai pencipta struktur empat bahagian ini pada tahun 1950-an (Kirkpatrick Partners).
- Kirkpatrick menggariskan pendekatan ini dalam empat artikel dalam jurnal American Society of Training Directors, bermula November 1959 dan berakhir Februari 1960 (Nickols).
- Kemas kini yang dikenali sebagai New World Kirkpatrick Model meminta penilai bermula dengan Tahap 4 dan bekerja ke belakang, serta menambah pemacu wajib dan penunjuk awal (Kirkpatrick Partners).
- Pada 1989, Alliger dan Janak menamakan tiga andaian bermasalah dalam model ini: bahawa peringkat-peringkat itu meningkat dari segi nilai maklumat, bahawa ia berkaitan secara sebab-akibat dan bahawa ia berkorelasi positif antara satu sama lain (Alliger and Janak, 1989).
- Holton berhujah pada 1996 bahawa sistem empat peringkat ini sebenarnya taksonomi hasil dan cacat sebagai model penilaian (Holton, 1996).
Dari mana model ini datang
Donald Kirkpatrick menggariskan pendekatan empat peringkatnya dalam siri empat artikel dalam jurnal American Society of Training Directors (nama ketika itu). Artikel pertama terbit pada November 1959 dan yang terakhir pada Februari 1960. Artikel-artikel itu kemudian dihimpun dalam kompilasi 1975, Evaluating Training Programs, terbitan ASTD (Nickols). Kirkpatrick Partners menambah bahawa beliau menetapkan rangka kerja ini sekitar masa beliau menyiapkan disertasi kedoktorannya, Evaluating a Human Relations Training Program for Supervisors (Kirkpatrick Partners).
Model ini sudah lama, ditulis untuk profesion pengarah latihan yang kebanyakannya mengendalikan program dikendalikan jurulatih. Dan takrifan peringkat asalnya agak nipis. Dalam kata-kata asalnya, reaksi ialah "how well the trainees liked a particular training program," dan bagi Hasil beliau memberikan contoh dan bukannya takrifan: kos berkurang, pusing ganti dan ketidakhadiran berkurang, aduan berkurang, kualiti dan kuantiti pengeluaran lebih tinggi, atau semangat yang bertambah baik (Nickols). Sebahagian besar daripada apa yang kini dianggap sebagai "Model Kirkpatrick" ditambah oleh penulis kemudian, yang paling ketara ialah James, anak Donald, dan isterinya Wendy, yang kemas kini mereka diterangkan oleh Kirkpatrick Partners sebagai muncul pada 2010-an (Kirkpatrick Partners). Buku edisi ketiga, yang ditulis bersama James, masih diterbitkan oleh Berrett-Koehler (Penguin).
Empat peringkat secara mendalam
Kirkpatrick Partners kini mentakrifkan peringkat-peringkat itu seperti berikut (sumber):
| Peringkat | Nama | Takrifan (perkataan semasa, diringkaskan) |
|---|---|---|
| 1 | Reaksi | Sama ada peserta mendapati pengalaman itu menyenangkan, menarik dan relevan dengan kerja |
| 2 | Pembelajaran | Setakat mana orang memperoleh pengetahuan, kemahiran, sikap, keyakinan dan komitmen yang dimaksudkan |
| 3 | Tingkah Laku | Sama ada orang melakukan tingkah laku kritikal dalam persekitaran kerja mereka, dengan sokongan dan akauntabiliti |
| 4 | Hasil | Setakat mana hasil organisasi yang disasarkan tercapai hasil daripada pengalaman atau inisiatif itu |
Susunan bernombor itu ialah susunan pengumpulan data dalam penilaian tradisional. Seperti yang akan anda lihat di bawah, ia bukan susunan yang diminta oleh versi New World untuk anda merancang.
Tahap 1: Reaksi
Tahap 1 bertanya bagaimana peserta mengalami program itu. Rangka asalnya ialah sama ada mereka menyukainya. Takrifan semasa menambah penglibatan dan kerelevanan dengan kerja mereka, yang penting kerana "Saya menikmati fasilitator" dan "Saya boleh gunakan ini pada hari Isnin" ialah jawapan yang sangat berbeza.
Contoh ukuran:
- Tinjauan selepas sesi dengan item tentang kerelevanan, bukan sekadar keseronokan
- Soalan gaya net promoter seperti "adakah anda akan mengesyorkannya"
- Pemerhatian fasilitator terhadap penglibatan semasa sesi
- Dalam program digital, titik keciciran dan pengambilan aktiviti pilihan (lihat metrik penglibatan pelajar)
Tahap 1 murah, pantas dan berguna sebagai diagnostik untuk program itu sendiri. Hadnya ialah ia mengukur pengalaman, bukan hasil. Kursus yang lancar dan menghiburkan boleh tidak mengajar apa-apa, dan kursus yang mencabar boleh mengajar banyak perkara.
Tahap 2: Pembelajaran
Tahap 2 bertanya sama ada orang memperoleh apa yang dimaksudkan oleh program. Soalan asal Kirkpatrick ialah prinsip, fakta dan teknik apa yang difahami dan diserap. Nickols menegaskan bahawa untuk mengatakan pembelajaran terhasil daripada latihan, anda perlu mengetahui titik permulaan pelajar, yang bermakna mengukur sebelum dan juga selepas (Nickols).
Contoh ukuran:
- Skor ujian pra dan ujian pasca pada instrumen yang sama
- Demonstrasi kemahiran praktikal atau simulasi, dimarkahkan dengan rubrik
- Keyakinan yang dinilai sendiri sebelum dan selepas, yang dipetakan kepada bahagian "keyakinan" dalam takrifan semasa
- Pernyataan komitmen bertulis untuk melaksanakan tindakan tertentu, yang dipetakan kepada "komitmen"
Tahap 2 ialah tempat kebanyakan platform kursus berhenti, kerana data kuiz bersifat automatik. Ia memberitahu anda apa yang mampu dilakukan seseorang pada akhir program. Ia tidak memberitahu apa-apa tentang sama ada mereka akan melakukannya apabila kembali bekerja.
Tahap 3: Tingkah Laku
Tahap 3 bertanya sama ada orang melakukan sesuatu secara berbeza di tempat kerja. Inilah peringkat yang paling banyak hilang dalam kebanyakan program, kerana pembelajaran mesti bertahan apabila berdepan tempat kerja yang mungkin tidak menyokongnya. Takrifan semasa memasukkannya ke dalam perkataan: orang melakukan tingkah laku kritikal dan disokong serta bertanggungjawab ke atasnya.
Contoh ukuran:
- Pemerhatian pengurus atau rakan sekerja menggunakan senarai semak tingkah laku tertentu
- Semakan hasil kerja, seperti sampel rakaman panggilan, semakan kod atau e-mel pelanggan
- Tinjauan susulan terhadap peserta dan pengurus mereka beberapa minggu atau bulan kemudian
- Data sistem yang mencerminkan tingkah laku itu, seperti penggunaan proses atau alat baharu
Cabaran pengukurannya ialah masa dan pemilikan. Perubahan tingkah laku mengambil masa beberapa minggu untuk kelihatan, dan orang yang paling layak melihatnya biasanya pengurus peserta, bukan pasukan L&D. Membuatkan seorang pengurus melengkapkan pemerhatian ialah masalah reka bentuk sama seperti masalah pengukuran. Untuk penyelidikan tentang mengapa pembelajaran terbawa atau tidak terbawa ke tempat kerja, lihat pemindahan pembelajaran.
Tahap 4: Hasil
Tahap 4 bertanya sama ada hasil organisasi yang disasarkan benar-benar tercapai. Perhatikan perkataan "disasarkan." Model ini tidak meminta anda mencari mana-mana metrik perniagaan yang bergerak. Ia bertanya tentang hasil yang anda dan pihak berkepentingan anda katakan mahu dicapai.
Contoh ukuran:
- Hasil, kadar kemenangan atau saiz tawaran untuk program jualan
- Kadar ralat, kecacatan atau insiden keselamatan untuk program operasi
- Skor kepuasan pelanggan atau jumlah aduan untuk program perkhidmatan
- Pengekalan, masa untuk produktif atau ketidakhadiran untuk program pengurusan orang
Tahap 4 ialah tahap yang paling sukar atas sebab yang mudah: banyak perkara menggerakkan metrik perniagaan serentak. Program latihan jarang bertindak sendirian. Di situlah penilai menggunakan kumpulan perbandingan, garis asas arah aliran atau anggaran pihak berkepentingan, yang dihuraikan dalam artikel membuktikan ROI latihan.
Model New World Kirkpatrick
Perubahan terpenting dalam versi moden ialah perubahan urutan. Peringkat tradisional dibaca seperti garis masa: jalankan kursus, kemudian tanya empat soalan. Versi New World membalikkannya. Kirkpatrick Partners menerangkannya sebagai menekankan bahawa anda bermula dengan Tahap 4 dan bekerja ke belakang melalui reka bentuk (Kirkpatrick Partners).
Urutan kerja kelihatan seperti ini:
- Tentukan hasil Tahap 4. Hasil organisasi apa yang patut berubah, dan siapa yang mengambil berat?
- Kenal pasti penunjuk awal. Ini ialah pemerhatian dan pengukuran jangka pendek yang menunjukkan tingkah laku kritikal berada di landasan yang betul untuk memberi kesan positif kepada hasil yang diingini (buku kerja Kirkpatrick Partners).
- Tentukan tingkah laku kritikal Tahap 3. Apakah yang tepatnya mesti dilakukan secara berbeza oleh orang?
- Nyatakan pemacu wajib. Ini ialah proses dan sistem yang mengukuhkan, memantau, menggalakkan dan memberi ganjaran kepada prestasi tingkah laku kritikal di tempat kerja (buku kerja yang sama).
- Reka bentuk pembelajaran (Tahap 2) dan pengalaman (Tahap 1). Hanya sekarang anda memutuskan rupa program itu.
Dua daripada istilah tersebut baharu dan wajar diberi perhatian.
Pemacu wajib. Pemacu ialah apa-apa di luar kursus yang menjadikan tingkah laku baharu lebih berkemungkinan: bimbingan, alat bantu kerja, pujian pengurus, kursus penyegaran, pengiktirafan atau bayaran berdasarkan prestasi. Panduan Kirkpatrick Partners sendiri memberikan contoh memuji pekerja yang dilihat mengamalkan tingkah laku yang baru dipelajari, dan menyenaraikan bimbingan, mentoran dan bayaran berdasarkan prestasi sebagai pemacu lain, sambil menyatakan bahawa pengurus memerlukan panduan tentang cara menggunakannya (Kirkpatrick Partners, Rao). Inilah jawapan langsung model ini kepada masalah Tahap 3. Daripada berharap tingkah laku akan berpindah, anda merancang sokongannya.
Penunjuk awal. Hasil Tahap 4 tiba lewat. Penunjuk awal memberikan bacaan awal. Dalam artikel Kirkpatrick Partners yang sama, selepas program komunikasi, pengurus boleh meninjau pelanggan tentang e-mel yang mereka terima dan memerhatikan sama ada eskalasi yang berkaitan dengan masalah komunikasi berkurang.
Return on Expectations
Model New World juga bergantung pada Return on Expectations, atau ROE. Kirkpatrick Partners menerangkannya sebagai apa yang disampaikan oleh inisiatif latihan yang berjaya kepada pihak berkepentingan perniagaan utama, menunjukkan setakat mana jangkaan mereka dipenuhi, dan mengatakan ia patut dibincangkan dengan pihak perniagaan sebelum program dibina (Kirkpatrick Partners, Rao).
Dalam amalan, ROE ialah perbualan, bukan pengiraan. Anda duduk bersama pihak berkepentingan yang membiayai program dan bertanya rupa kejayaan pada pandangan mereka, dalam istilah yang akan mereka kenali setahun kemudian. Jawapannya menjadi sasaran Tahap 4. Ia juga mengubah untuk siapa laporan itu ditulis: bukan pasukan L&D, tetapi orang yang jangkaannya ditetapkan pada permulaan.
Phillips dan Tahap 5
Jack Phillips memperluas struktur ini dengan peringkat kelima, Return on Investment. ROI Institute menerangkan lima peringkat itu sebagai Reaction and Planned Action, Learning, Application and Implementation, Business Impact, dan ROI, dengan peringkat terakhir membandingkan faedah kewangan dengan kos. Ia juga menganggap pengasingan kesan program, dengan kaedah seperti kumpulan kawalan dan analisis garis arah aliran, sebagai langkah yang penting (ROI Institute).
Maka Phillips melakukan dua perkara yang tidak dilakukan oleh peringkat Kirkpatrick. Beliau menukar impak Tahap 4 kepada wang, dan beliau menegaskan pengasingan sumbangan program sebelum berbuat demikian. Jika anda memerlukan formula, kategori kos dan contoh kerja, semuanya ada dalam membuktikan ROI latihan kepada pembeli. Banyak organisasi menggunakan Kirkpatrick sebagai rangka keseluruhan dan menambah langkah Phillips hanya untuk beberapa program yang berkos tinggi atau berprofil tinggi.
Kritikan terhadap model ini
Populariti model ini sentiasa wujud bersama keraguan akademik. Tiga kritikan yang paling kerap dipetik membuat hujah yang berbeza.
Alliger dan Janak (1989). Tiga puluh tahun selepas artikel asal, mereka mengenal pasti tiga andaian bermasalah: bahawa peringkat-peringkat disusun mengikut tertib menaik maklumat yang diberikan, bahawa ia berkaitan secara sebab-akibat, dan bahawa ia berkorelasi positif. Mereka meneliti kekerapan setiap peringkat muncul dalam kajian penilaian yang diterbitkan dan apa yang dikatakan oleh korelasi dalam literatur tentang andaian kedua dan ketiga (Alliger and Janak, 1989). Pengajaran praktikalnya: skor Tahap 1 yang baik tidak meramalkan skor Tahap 2 yang baik, dan anda tidak boleh menganggap wujud rantaian sebab dari satu peringkat ke peringkat seterusnya.
Holton (1996). Beliau berhujah bahawa sistem empat peringkat ini sebenarnya taksonomi hasil dan cacat sebagai model penilaian. Model sebenar, pada pandangannya, mesti menyatakan hasil dengan betul, mengambil kira pemboleh ubah perantara dan menunjukkan hubungan sebab-akibat. Beliau mencadangkan alternatif yang mengambil kira pemboleh ubah seperti motivasi untuk belajar, kebolehlatihan, sikap kerja, ciri peribadi dan keadaan pemindahan latihan, dan memberikan peranan baharu kepada reaksi peserta (Holton, 1996). Kritikan ini ditujukan kepada model asal. Perhatikan bagaimana pemacu wajib dalam versi New World menjawab sebahagiannya, dengan menamakan keadaan tempat kerja sebagai unsur reka bentuk.
Bates (2004). Reid Bates menambah analisis kritikal yang lebih kemudian dalam Evaluation and Program Planning, bertajuk "A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence" (Bates, 2004). Ia wajar dibaca sepenuhnya jika anda bercadang bergantung pada model ini dalam situasi berisiko tinggi.
Secara keseluruhan, kritikan-kritikan ini mencadangkan pembacaan yang adil. Peringkat-peringkat itu ialah senarai semak yang berguna tentang jenis bukti. Ia bukan teori sebab-akibat tentang bagaimana latihan menghasilkan hasil, dan tidak patut digunakan sedemikian.
Cara menggunakan model ini
Beberapa amalan terhasil daripada sumber-sumber di atas.
Mulakan dengan perbualan bersama pihak berkepentingan. Sebelum mereka bentuk apa-apa, persetujui hasil Tahap 4 dengan orang yang akan menilai program. Jika anda juga menjalankan analisis keperluan latihan, perbualan ini ialah jambatan semula jadi antara jurang yang anda temui dengan bukti yang akan anda kumpulkan.
Pilih bilangan penunjuk awal yang kecil. Dua atau tiga yang boleh dibaca dalam masa beberapa minggu lebih baik daripada sedozen yang tiada siapa kumpulkan.
Tulis tingkah laku kritikal dalam istilah yang boleh diperhatikan. "Berkomunikasi dengan lebih baik" tidak boleh diperhatikan. "Mengesahkan isu pelanggan dalam balasan pertama sebelum mencadangkan penyelesaian" boleh.
Rancang pemacu, dan namakan pemiliknya. Pemacu tanpa pemilik hanyalah harapan. Tentukan siapa yang membimbing, siapa yang menyemak, dan apa yang diminta daripada pengurus peserta.
Ukur Tahap 2 berbanding garis asas. Tanpa ujian pra atau yang setara, keputusan ujian pasca yang baik sukar dikreditkan kepada program, seperti yang dinyatakan Nickols.
Padankan usaha dengan taruhan. Penilaian penuh Tahap 3 dan 4 untuk setiap kursus tidak realistik. Buku kerja Kirkpatrick Partners sendiri membingkaikan kerja ini sebagai menilai program yang kritikal kepada misi, yang membayangkan keperluan memilih. Simpan rawatan berat untuk program yang mahal, strategik atau berprofil tinggi dari segi politik. Jika program itu dibina atas proses reka bentuk berstruktur seperti ADDIE, perancangan penilaian sesuai secara semula jadi dengan fasa akhirnya.
Soalan Lazim tentang Model Kirkpatrick
Apakah empat peringkat Model Kirkpatrick?
Reaksi, Pembelajaran, Tingkah Laku dan Hasil. Secara berurutan, ia bertanya sama ada peserta mendapati program itu menyenangkan dan relevan, sama ada mereka memperoleh pengetahuan, kemahiran, sikap, keyakinan dan komitmen yang dimaksudkan, sama ada mereka melakukan tingkah laku kritikal di tempat kerja, dan sama ada hasil organisasi yang disasarkan tercapai.
Siapakah yang mencipta Model Kirkpatrick dan bilakah?
Donald Kirkpatrick menggariskan pendekatan empat peringkat ini dalam empat artikel dalam jurnal American Society of Training Directors, bermula November 1959 dan berakhir Februari 1960. Edisi dan kemas kini kemudian dibangunkan bersama anaknya James dan Wendy Kirkpatrick.
Apakah New World Kirkpatrick Model?
Ia ialah versi terkini yang diajar oleh Kirkpatrick Partners. Ia memberitahu penilai supaya bermula pada Tahap 4 dan bekerja ke belakang, menentukan penunjuk awal dan tingkah laku kritikal, merancang pemacu wajib yang menyokong tingkah laku tersebut, dan hanya selepas itu mereka bentuk pembelajaran. Ia juga meletakkan Return on Expectations di tengah-tengah perbualan dengan pihak berkepentingan.
Apakah pemacu wajib dan penunjuk awal?
Pemacu wajib ialah proses dan sistem yang mengukuhkan, memantau, menggalakkan dan memberi ganjaran kepada prestasi tingkah laku kritikal di tempat kerja, seperti bimbingan, alat bantu kerja dan pengiktirafan. Penunjuk awal ialah pemerhatian dan pengukuran jangka pendek yang menunjukkan tingkah laku tersebut berada di landasan yang betul untuk menghasilkan hasil yang diingini.
Adakah Model Kirkpatrick mengukur ROI?
Tidak dalam empat peringkatnya. ROI sebagai peringkat kelima ditambah oleh Jack Phillips, yang metodologinya menukar impak perniagaan kepada wang dan membandingkannya dengan kos penuh selepas mengasingkan kesan program. Model New World menawarkan Return on Expectations, iaitu idea yang berbeza dan ditakrifkan oleh pihak berkepentingan.
Apakah kritikan utama terhadap Model Kirkpatrick?
Alliger dan Janak mempersoalkan andaian bahawa peringkat-peringkat itu meningkat dari segi nilai maklumat, berkaitan secara sebab-akibat dan berkorelasi positif. Holton berhujah bahawa ia taksonomi hasil dan bukan model penilaian sebenar kerana ia tidak menyatakan pemboleh ubah perantara atau hubungan sebab-akibat.
Adakah setiap peringkat perlu dinilai untuk setiap program?
Tidak. Data Tahap 1 dan 2 murah dan biasanya berbaloi dikumpulkan. Penilaian Tahap 3 dan 4 memerlukan usaha sebenar, jadi masuk akal untuk menyimpannya bagi program yang mahal, strategik atau sangat ketara.
Bacaan Berkaitan
Co-Founder & COO