Bahasa Indonesia
Model Kirkpatrick untuk Evaluasi Pelatihan
Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
Tanyakan kepada sekelompok profesional pembelajaran bagaimana mereka mengevaluasi pelatihan, dan sebagian besar akan menjawab "Kirkpatrick." Model empat level ini adalah kosakata baku di bidangnya. Model ini muncul di dashboard vendor, di RFP, di silabus sertifikasi, dan di slide pertama hampir setiap lokakarya pengukuran.
Namun model ini sering dipakai secara longgar. Orang menyebut "Level 4" tanpa mendefinisikannya, atau memperlakukan level-level itu sebagai tangga yang dinaiki setelah kursus berakhir. Artikel ini adalah rujukan tentang modelnya sendiri: dari mana asalnya, apa arti tiap level dan cara mengukurnya, bagaimana pembaruan New World mengubah cara pemakaiannya, apa yang dianggap keliru oleh literatur riset, dan bagaimana menerapkannya tanpa menipu diri sendiri. Jika Anda tertarik pada sisi komersialnya, artikel pendamping tentang membuktikan ROI pelatihan kepada pembeli membahas bagaimana penjual menyusun business case di sekitar gagasan-gagasan ini.
Fakta Utama
- Model ini memiliki empat level: Reaksi, Pembelajaran, Perilaku, dan Hasil. Kirkpatrick Partners menyebut Dr. Donald Kirkpatrick sebagai pencipta struktur empat bagian ini pada 1950-an (Kirkpatrick Partners).
- Kirkpatrick memaparkan pendekatan ini dalam empat artikel di jurnal American Society of Training Directors, mulai November 1959 dan berakhir Februari 1960 (Nickols).
- Pembaruan yang dikenal sebagai New World Kirkpatrick Model meminta evaluator memulai dari Level 4 dan bekerja mundur, serta menambahkan required drivers dan leading indicators (Kirkpatrick Partners).
- Pada 1989, Alliger dan Janak menyebutkan tiga asumsi bermasalah dalam model ini: bahwa level-levelnya meningkat dalam nilai informasi, bahwa level-level itu terkait secara kausal, dan bahwa semuanya berkorelasi positif (Alliger dan Janak, 1989).
- Holton berpendapat pada 1996 bahwa sistem empat level ini sebenarnya adalah taksonomi hasil dan cacat sebagai model evaluasi (Holton, 1996).
Asal-usul model ini
Donald Kirkpatrick memaparkan pendekatan empat levelnya dalam rangkaian empat artikel di jurnal yang kala itu diterbitkan American Society of Training Directors. Artikel pertama terbit pada November 1959 dan yang terakhir pada Februari 1960. Artikel-artikel itu kemudian dihimpun dalam kompilasi tahun 1975, Evaluating Training Programs, yang diterbitkan ASTD (Nickols). Kirkpatrick Partners menambahkan bahwa ia menetapkan kerangka ini sekitar waktu ia menyelesaikan disertasi doktoralnya, Evaluating a Human Relations Training Program for Supervisors (Kirkpatrick Partners).
Modelnya sudah tua, ditulis untuk profesi direktur pelatihan yang sebagian besar menjalankan program yang dipandu instruktur. Dan level-level aslinya didefinisikan secara tipis. Dalam rumusan aslinya, reaksi adalah "seberapa baik peserta menyukai program pelatihan tertentu," dan untuk Hasil ia memberi contoh, bukan definisi: biaya yang berkurang, pergantian karyawan dan absensi yang berkurang, keluhan yang lebih sedikit, kualitas dan kuantitas produksi yang lebih tinggi, atau moral yang membaik (Nickols). Banyak hal yang kini dianggap sebagai "Kirkpatrick Model" ditambahkan oleh penulis-penulis berikutnya, yang paling menonjol putra Donald, James, dan istrinya, Wendy, yang pembaruannya menurut Kirkpatrick Partners muncul pada 2010-an (Kirkpatrick Partners). Buku edisi ketiga, yang ditulis bersama James, masih diterbitkan oleh Berrett-Koehler (Penguin).
Empat level secara mendalam
Kirkpatrick Partners saat ini mendefinisikan level-levelnya sebagai berikut (sumber):
| Level | Nama | Definisi (rumusan terkini, diringkas) |
|---|---|---|
| 1 | Reaksi | Apakah peserta menilai pengalaman tersebut menyenangkan, menarik, dan relevan dengan pekerjaan |
| 2 | Pembelajaran | Sejauh mana orang memperoleh pengetahuan, keterampilan, sikap, kepercayaan diri, dan komitmen yang dituju |
| 3 | Perilaku | Apakah orang melakukan perilaku kritis di lingkungan kerja mereka, didukung oleh lingkungan itu dan akuntabel atasnya |
| 4 | Hasil | Sejauh mana hasil organisasi yang ditargetkan tercapai sebagai akibat dari pengalaman atau inisiatif tersebut |
Urutan bernomor itu adalah urutan pengumpulan data dalam evaluasi tradisional. Seperti yang akan Anda lihat di bawah, itu bukan urutan perencanaan menurut versi New World.
Level 1: Reaksi
Level 1 menanyakan bagaimana peserta mengalami program tersebut. Rumusan aslinya menyangkut apakah mereka menyukainya. Definisi saat ini menambahkan keterlibatan dan relevansi dengan pekerjaan mereka, yang penting karena "saya menikmati fasilitatornya" dan "saya bisa memakai ini hari Senin" adalah jawaban yang sangat berbeda.
Contoh pengukuran:
- Survei pasca-sesi dengan butir tentang relevansi, bukan hanya kenikmatan
- Pertanyaan bergaya net promoter, "apakah Anda akan merekomendasikannya"
- Pengamatan fasilitator terhadap keterlibatan selama sesi
- Pada program digital, titik drop-off dan tingkat pengambilan aktivitas opsional (lihat metrik keterlibatan peserta didik)
Level 1 murah, cepat, dan berguna sebagai diagnostik untuk programnya sendiri. Batasannya, level ini mengukur pengalaman, bukan hasil. Kursus yang mulus dan menghibur bisa tidak mengajarkan apa pun, dan kursus yang menuntut bisa mengajarkan banyak hal.
Level 2: Pembelajaran
Level 2 menanyakan apakah orang memperoleh apa yang dituju program. Pertanyaan asli Kirkpatrick adalah prinsip, fakta, dan teknik apa yang dipahami dan diserap. Nickols menunjukkan bahwa untuk menyatakan pembelajaran terjadi akibat pelatihan, Anda perlu tahu titik awal peserta, yang berarti mengukur sebelum maupun sesudah (Nickols).
Contoh pengukuran:
- Skor pre-test dan post-test pada instrumen yang sama
- Demonstrasi keterampilan praktis atau simulasi, dinilai dengan rubrik
- Kepercayaan diri yang dinilai sendiri sebelum dan sesudah, yang berkaitan dengan bagian "kepercayaan diri" dalam definisi saat ini
- Pernyataan tertulis tentang komitmen menerapkan tindakan tertentu, yang berkaitan dengan "komitmen"
Level 2 adalah tempat sebagian besar platform kursus berhenti, karena data kuis tersedia secara otomatis. Level ini memberi tahu apa yang bisa dilakukan seseorang di akhir program. Level ini tidak mengatakan apa pun tentang apakah mereka akan melakukannya saat kembali bekerja.
Level 3: Perilaku
Level 3 menanyakan apakah orang melakukan hal-hal secara berbeda di tempat kerja. Inilah level yang paling sering gagal dalam banyak program, karena pembelajaran harus bertahan menghadapi tempat kerja yang mungkin tidak mendukungnya. Definisi saat ini membangun hal itu ke dalam rumusannya: orang melakukan perilaku kritis dan didukung serta akuntabel atasnya.
Contoh pengukuran:
- Pengamatan oleh atasan atau rekan kerja menggunakan daftar periksa perilaku spesifik
- Tinjauan hasil kerja, seperti sampel rekaman panggilan, code review, atau email pelanggan
- Survei tindak lanjut kepada peserta dan atasan mereka beberapa minggu atau bulan kemudian
- Data sistem yang mencerminkan perilaku tersebut, seperti penggunaan proses atau alat baru
Tantangan pengukurannya ada pada waktu dan kepemilikan. Perubahan perilaku butuh berminggu-minggu untuk terlihat, dan orang yang paling tepat melihatnya biasanya atasan peserta, bukan tim L&D. Membuat atasan mengisi pengamatan sama-sama masalah desain dan masalah pengukuran. Untuk riset tentang mengapa pembelajaran terbawa atau tidak terbawa ke pekerjaan, lihat transfer pembelajaran.
Level 4: Hasil
Level 4 menanyakan apakah hasil organisasi yang ditargetkan benar-benar tercapai. Perhatikan kata "ditargetkan." Model ini tidak meminta Anda mencari metrik bisnis apa pun yang bergerak. Model ini bertanya tentang hasil yang Anda dan para pemangku kepentingan katakan ingin dicapai.
Contoh pengukuran:
- Pendapatan, win rate, atau ukuran deal untuk program penjualan
- Tingkat kesalahan, cacat, atau insiden keselamatan untuk program operasional
- Skor kepuasan pelanggan atau volume keluhan untuk program layanan
- Retensi, waktu menuju produktivitas, atau absensi untuk program manajemen orang
Level 4 adalah level tersulit karena alasan sederhana: banyak hal menggerakkan metrik bisnis sekaligus. Program pelatihan jarang bekerja sendirian. Di sinilah evaluator memakai kelompok pembanding, baseline tren, atau estimasi pemangku kepentingan, yang dibahas dalam artikel membuktikan ROI pelatihan.
New World Kirkpatrick Model
Perubahan terpenting dalam versi modern adalah perubahan urutan. Level tradisional terbaca seperti lini waktu: jalankan kursus, lalu ajukan empat pertanyaan. Versi New World membalikkannya. Kirkpatrick Partners menggambarkannya sebagai penekanan bahwa Anda mulai dari Level 4 dan bekerja mundur melalui desain (Kirkpatrick Partners).
Urutan kerjanya seperti ini:
- Tentukan hasil Level 4. Hasil organisasi apa yang harus berubah, dan siapa yang peduli?
- Identifikasi leading indicators. Ini adalah pengamatan dan pengukuran jangka pendek yang menunjukkan bahwa perilaku kritis berada di jalur untuk menciptakan dampak positif pada hasil yang diinginkan (workbook Kirkpatrick Partners).
- Tentukan perilaku kritis Level 3. Apa persisnya yang harus dilakukan orang secara berbeda?
- Tetapkan required drivers. Ini adalah proses dan sistem yang memperkuat, memantau, mendorong, dan menghargai kinerja perilaku kritis di tempat kerja (workbook yang sama).
- Rancang pembelajaran (Level 2) dan pengalaman (Level 1). Baru sekarang Anda memutuskan seperti apa program itu.
Dua dari istilah tersebut baru dan layak dibahas lebih lanjut.
Required drivers. Driver adalah apa pun di luar kursus yang membuat perilaku baru lebih mungkin terjadi: coaching, job aid, pujian dari atasan, penyegaran, pengakuan, atau pay for performance. Panduan Kirkpatrick Partners sendiri memberi contoh memuji karyawan yang terlihat menerapkan perilaku yang baru dipelajari, dan mencantumkan coaching, mentoring, dan pay for performance sebagai driver lain, dengan catatan bahwa atasan memerlukan panduan tentang cara memakainya (Kirkpatrick Partners, Rao). Inilah jawaban langsung model ini atas masalah Level 3. Alih-alih berharap perilaku berpindah dengan sendirinya, Anda merencanakan dukungannya.
Leading indicators. Hasil Level 4 datang terlambat. Leading indicators memberi gambaran awal. Dalam artikel Kirkpatrick Partners yang sama, setelah program komunikasi, atasan dapat menyurvei pelanggan tentang email yang mereka terima dan memantau apakah eskalasi akibat masalah komunikasi menurun.
Return on Expectations
Model New World juga bertumpu pada Return on Expectations, atau ROE. Kirkpatrick Partners menggambarkannya sebagai apa yang diberikan inisiatif pelatihan yang berhasil kepada pemangku kepentingan bisnis utama, yang menunjukkan seberapa jauh ekspektasi mereka terpenuhi, dan menyatakan bahwa hal ini perlu dibahas dengan pihak bisnis sebelum program dibangun (Kirkpatrick Partners, Rao).
Dalam praktiknya, ROE adalah percakapan, bukan perhitungan. Anda duduk bersama pemangku kepentingan yang mendanai program dan bertanya seperti apa keberhasilan menurut mereka, dalam istilah yang akan mereka kenali setahun lagi. Jawabannya menjadi target Level 4. Hal ini juga mengubah untuk siapa laporan dibuat: bukan tim L&D, melainkan orang yang ekspektasinya ditetapkan di awal.
Phillips dan Level 5
Jack Phillips memperluas struktur ini dengan level kelima, Return on Investment. ROI Institute menjelaskan kelima level itu sebagai Reaksi dan Rencana Tindakan, Pembelajaran, Penerapan dan Implementasi, Dampak Bisnis, dan ROI, di mana level terakhir membandingkan manfaat moneter dengan biaya. ROI Institute juga memandang pemisahan efek program, dengan metode seperti kelompok kontrol dan analisis garis tren, sebagai langkah yang esensial (ROI Institute).
Jadi Phillips melakukan dua hal yang tidak dilakukan level-level Kirkpatrick. Ia mengubah dampak Level 4 menjadi uang, dan ia menegaskan perlunya memisahkan kontribusi program sebelum melakukannya. Jika Anda membutuhkan rumus, kategori biaya, dan contoh perhitungan, semuanya ada di membuktikan ROI pelatihan kepada pembeli. Banyak organisasi memakai Kirkpatrick sebagai kerangka umum dan menambahkan langkah Phillips hanya untuk beberapa program yang berbiaya tinggi atau sangat terlihat.
Kritik terhadap model ini
Popularitas model ini selalu berdampingan dengan skeptisisme akademis. Tiga kritik yang paling banyak dikutip menyampaikan hal yang berbeda.
Alliger dan Janak (1989). Tiga puluh tahun setelah artikel aslinya, mereka mengidentifikasi tiga asumsi bermasalah: bahwa level-level tersusun dalam urutan menaik berdasarkan informasi yang diberikan, bahwa level-level itu terkait secara kausal, dan bahwa semuanya berkorelasi positif. Mereka meneliti seberapa sering tiap level muncul dalam studi evaluasi yang dipublikasikan dan apa yang dikatakan korelasi dalam literatur tentang asumsi kedua dan ketiga (Alliger dan Janak, 1989). Pelajaran praktisnya: skor Level 1 yang baik tidak memprediksi skor Level 2 yang baik, dan Anda tidak bisa mengasumsikan rantai sebab-akibat dari satu level ke level berikutnya.
Holton (1996). Ia berpendapat bahwa sistem empat level ini sebenarnya adalah taksonomi hasil dan cacat sebagai model evaluasi. Menurutnya, model yang sebenarnya harus menentukan hasil dengan benar, memperhitungkan variabel penengah, dan menunjukkan hubungan kausal. Ia mengusulkan alternatif yang memperhitungkan variabel seperti motivasi belajar, kemampuan dilatih, sikap kerja, karakteristik pribadi, dan kondisi transfer pelatihan, serta memberi reaksi peserta peran baru (Holton, 1996). Kritik ini ditujukan pada model aslinya. Perhatikan bagaimana required drivers dalam versi New World menjawab sebagian darinya, dengan menyebut kondisi tempat kerja sebagai elemen desain.
Bates (2004). Reid Bates menambahkan analisis kritis yang lebih baru di Evaluation and Program Planning, berjudul "A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence" (Bates, 2004). Tulisan ini layak dibaca penuh jika Anda berencana mengandalkan model ini dalam situasi berisiko tinggi.
Secara keseluruhan, kritik-kritik ini mengarah pada pembacaan yang adil. Level-level tersebut adalah daftar periksa yang berguna tentang jenis bukti. Level-level itu bukan teori kausal tentang bagaimana pelatihan menghasilkan hasil, dan tidak boleh dipakai seperti itu.
Cara menerapkan model ini
Beberapa praktik berikut berasal dari sumber-sumber di atas.
Mulai dengan percakapan bersama pemangku kepentingan. Sebelum merancang apa pun, sepakati hasil Level 4 dengan orang yang akan menilai program. Jika Anda juga melakukan analisis kebutuhan pelatihan, percakapan ini adalah jembatan alami antara kesenjangan yang Anda temukan dan bukti yang akan Anda kumpulkan.
Pilih sedikit leading indicators. Dua atau tiga yang bisa dibaca dalam hitungan minggu lebih baik daripada selusin yang tidak pernah dikumpulkan.
Tuliskan perilaku kritis dalam istilah yang dapat diamati. "Berkomunikasi lebih baik" tidak bisa diamati. "Mengonfirmasi masalah pelanggan di balasan pertama sebelum menawarkan solusi" bisa.
Rencanakan drivers, dan tentukan pemiliknya. Driver tanpa pemilik hanyalah harapan. Putuskan siapa yang melakukan coaching, siapa yang memeriksa, dan apa yang diminta dari atasan peserta.
Ukur Level 2 terhadap baseline. Tanpa pre-test atau yang setara, hasil post-test yang bagus sulit dikreditkan kepada program, seperti dicatat Nickols.
Sesuaikan upaya dengan taruhannya. Evaluasi Level 3 dan 4 secara penuh untuk setiap kursus tidaklah realistis. Workbook Kirkpatrick Partners sendiri membingkai pekerjaan ini sebagai evaluasi program yang sangat penting, yang berarti harus memilih. Sisakan perlakuan berat untuk program yang mahal, strategis, atau sangat terlihat. Jika program dibangun di atas proses desain terstruktur seperti ADDIE, perencanaan evaluasi cocok secara alami di fase terakhirnya.
Pertanyaan yang Sering Diajukan tentang Kirkpatrick Model
Apa saja empat level Kirkpatrick Model?
Reaksi, Pembelajaran, Perilaku, dan Hasil. Secara berurutan, keempatnya menanyakan apakah peserta menilai program menyenangkan dan relevan, apakah mereka memperoleh pengetahuan, keterampilan, sikap, kepercayaan diri, dan komitmen yang dituju, apakah mereka melakukan perilaku kritis di tempat kerja, dan apakah hasil organisasi yang ditargetkan tercapai.
Siapa yang menciptakan Kirkpatrick Model dan kapan?
Donald Kirkpatrick memaparkan pendekatan empat level ini dalam empat artikel di jurnal American Society of Training Directors, mulai November 1959 hingga Februari 1960. Edisi dan pembaruan berikutnya dikembangkan bersama putranya, James, dan Wendy Kirkpatrick.
Apa itu New World Kirkpatrick Model?
Ini adalah versi terbaru yang diajarkan oleh Kirkpatrick Partners. Model ini meminta evaluator memulai dari Level 4 dan bekerja mundur, menentukan leading indicators dan perilaku kritis, merencanakan required drivers yang mendukung perilaku tersebut, dan baru kemudian merancang pembelajarannya. Model ini juga menempatkan Return on Expectations di pusat percakapan dengan pemangku kepentingan.
Apa itu required drivers dan leading indicators?
Required drivers adalah proses dan sistem yang memperkuat, memantau, mendorong, dan menghargai kinerja perilaku kritis di tempat kerja, seperti coaching, job aid, dan pengakuan. Leading indicators adalah pengamatan dan pengukuran jangka pendek yang menunjukkan bahwa perilaku tersebut berada di jalur untuk menghasilkan hasil yang diinginkan.
Apakah Kirkpatrick Model mengukur ROI?
Tidak dalam empat levelnya. ROI sebagai level kelima ditambahkan oleh Jack Phillips, yang metodologinya mengubah dampak bisnis menjadi uang dan membandingkannya dengan biaya penuh setelah memisahkan efek program. Model New World menawarkan Return on Expectations, yaitu gagasan yang berbeda dan ditentukan oleh pemangku kepentingan.
Apa kritik utama terhadap Kirkpatrick Model?
Alliger dan Janak mempertanyakan asumsi bahwa level-levelnya meningkat dalam nilai informasi, terkait secara kausal, dan berkorelasi positif. Holton berpendapat bahwa model ini adalah taksonomi hasil, bukan model evaluasi yang sebenarnya, karena tidak menentukan variabel penengah atau hubungan kausal.
Apakah setiap level harus dievaluasi untuk setiap program?
Tidak. Data Level 1 dan 2 murah dan biasanya layak dikumpulkan. Evaluasi Level 3 dan 4 membutuhkan upaya nyata, jadi masuk akal untuk menyisihkannya bagi program yang mahal, strategis, atau sangat terlihat.
Bacaan Terkait
