El modelo de Kirkpatrick para evaluar la capacitación
Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
Pregunte a una sala de profesionales del aprendizaje cómo evalúan la capacitación y buena parte responderá «Kirkpatrick». El modelo de cuatro niveles es el vocabulario por defecto del sector. Aparece en los paneles de los proveedores, en las RFP, en los programas de certificación y en la primera diapositiva de casi todos los talleres de medición.
Sin embargo, se usa con frecuencia de forma imprecisa. Hay quien cita el «Nivel 4» sin definirlo, o trata los niveles como una escalera que se sube cuando el curso termina. Este artículo es una referencia sobre el modelo en sí: de dónde viene, qué significa cada nivel y cómo medirlo, cómo la actualización New World cambió la forma en que debe usarse, qué le reprochó la literatura de investigación y cómo aplicarlo sin engañarse. Si le interesa el ángulo comercial, el artículo hermano sobre cómo demostrar el ROI de la capacitación a los compradores explica cómo los vendedores construyen un caso de negocio en torno a estas ideas.
Datos clave
- El modelo tiene cuatro niveles: Reacción, Aprendizaje, Comportamiento y Resultados. Kirkpatrick Partners atribuye al Dr. Donald Kirkpatrick la creación de la estructura de cuatro partes en la década de 1950 (Kirkpatrick Partners).
- Kirkpatrick expuso el enfoque en cuatro artículos de la revista de la American Society of Training Directors, desde noviembre de 1959 hasta febrero de 1960 (Nickols).
- La actualización conocida como New World Kirkpatrick Model pide a los evaluadores empezar por el Nivel 4 y trabajar hacia atrás, y añade impulsores necesarios e indicadores adelantados (Kirkpatrick Partners).
- En 1989, Alliger y Janak señalaron tres supuestos problemáticos del modelo: que los niveles ascienden en valor informativo, que están vinculados causalmente y que se correlacionan positivamente entre sí (Alliger y Janak, 1989).
- Holton sostuvo en 1996 que el sistema de cuatro niveles es en realidad una taxonomía de resultados y que falla como modelo de evaluación (Holton, 1996).
De dónde viene el modelo
Donald Kirkpatrick expuso su enfoque de cuatro niveles en una serie de cuatro artículos en la revista de la entonces llamada American Society of Training Directors. El primero apareció en noviembre de 1959 y el último en febrero de 1960. Los artículos se reunieron después en una recopilación de 1975, Evaluating Training Programs, publicada por ASTD (Nickols). Kirkpatrick Partners añade que estableció el marco hacia la época en que completó su tesis doctoral, Evaluating a Human Relations Training Program for Supervisors (Kirkpatrick Partners).
El modelo es antiguo, escrito para una profesión de directores de capacitación que dirigían sobre todo programas presenciales con instructor. Además, los niveles originales estaban poco definidos. En su redacción original, la reacción era «qué tanto les gustó a los participantes un programa de capacitación en particular», y para Resultados ofrecía ejemplos en lugar de una definición: menores costos, menor rotación y ausentismo, menos quejas, mayor calidad y cantidad de producción, o mejor ánimo (Nickols). Gran parte de lo que hoy se considera «el modelo de Kirkpatrick» lo añadieron autores posteriores, sobre todo su hijo James y su esposa Wendy, cuyas actualizaciones Kirkpatrick Partners describe como surgidas en la década de 2010 (Kirkpatrick Partners). La tercera edición del libro, escrita con James, sigue publicándose en Berrett-Koehler (Penguin).
Los cuatro niveles en detalle
Kirkpatrick Partners define actualmente los niveles así (fuente):
| Nivel | Nombre | Definición (redacción actual, resumida) |
|---|---|---|
| 1 | Reacción | Si los participantes encuentran la experiencia favorable, atractiva y relevante para su trabajo |
| 2 | Aprendizaje | El grado en que las personas adquieren los conocimientos, habilidades, actitud, confianza y compromiso previstos |
| 3 | Comportamiento | Si las personas ejecutan los comportamientos críticos en su entorno de trabajo, con apoyo de este y rindiendo cuentas por ellos |
| 4 | Resultados | El grado en que se producen los resultados organizacionales buscados como consecuencia de la experiencia o iniciativa |
El orden numérico es el orden de recopilación de datos en una evaluación tradicional. Como verá más adelante, no es el orden en que la versión New World indica planificar.
Nivel 1: Reacción
El Nivel 1 pregunta cómo vivieron el programa los participantes. El planteamiento original trataba de si les gustó. La definición actual añade el atractivo y la relevancia para su puesto, algo importante porque «disfruté al facilitador» y «puedo usar esto el lunes» son respuestas muy distintas.
Ejemplos de medición:
- Una encuesta posterior a la sesión con preguntas sobre relevancia, además de agrado
- Preguntas al estilo net promoter del tipo «¿lo recomendaría?»
- Observación del facilitador sobre la participación durante la sesión
- En programas digitales, los puntos de abandono y la adopción de actividades opcionales (consulte métricas de participación de los estudiantes)
El Nivel 1 es barato, rápido y útil como diagnóstico del programa en sí. Su límite es que mide la experiencia, no el resultado. Un curso fluido y entretenido puede no enseñar nada, y uno exigente puede enseñar mucho.
Nivel 2: Aprendizaje
El Nivel 2 pregunta si las personas adquirieron lo que el programa pretendía. La pregunta original de Kirkpatrick era qué principios, hechos y técnicas se entendieron y asimilaron. Nickols señala que, para afirmar que el aprendizaje fue resultado de la capacitación, hay que conocer el punto de partida del estudiante, lo que implica medir antes y también después (Nickols).
Ejemplos de medición:
- Puntajes de prueba previa y posterior con el mismo instrumento
- Una demostración práctica de habilidades o una simulación, calificada con una rúbrica
- Confianza autoevaluada antes y después, que corresponde a la parte de «confianza» de la definición actual
- Una declaración escrita de compromiso para aplicar acciones específicas, que corresponde a «compromiso»
El Nivel 2 es donde se detienen la mayoría de las plataformas de cursos, porque los datos de los cuestionarios son automáticos. Le dice qué podía hacer una persona al final del programa. No dice nada sobre si lo hará de vuelta en el trabajo.
Nivel 3: Comportamiento
El Nivel 3 pregunta si las personas hacen las cosas de manera distinta en su puesto. Es el nivel que la mayoría de los programas pierde, porque el aprendizaje tiene que sobrevivir al contacto con un lugar de trabajo que quizá no lo respalde. La definición actual lo incorpora en su redacción: las personas ejecutan los comportamientos críticos y cuentan con apoyo y rinden cuentas por ellos.
Ejemplos de medición:
- Observación de gerentes o pares con una lista de verificación de los comportamientos específicos
- Revisión de productos de trabajo, como una muestra de grabaciones de llamadas, revisiones de código o correos a clientes
- Encuestas de seguimiento a los participantes y a sus gerentes pasadas unas semanas o meses
- Datos de sistemas que reflejen el comportamiento, como el uso de un nuevo proceso o herramienta
El desafío de la medición es el momento y la responsabilidad. El cambio de comportamiento tarda semanas en notarse, y la persona mejor situada para verlo suele ser el gerente del participante, no el equipo de L&D. Lograr que un gerente complete una observación es tanto un problema de diseño como de medición. Para la investigación sobre por qué el aprendizaje se traslada o no al trabajo, consulte transferencia del aprendizaje.
Nivel 4: Resultados
El Nivel 4 pregunta si ocurrieron los resultados organizacionales buscados. Note la palabra «buscados». El modelo no le pide encontrar cualquier métrica de negocio que se haya movido. Le pregunta por los resultados que usted y sus interesados dijeron querer.
Ejemplos de medición:
- Ingresos, tasa de cierre o tamaño de negocio en un programa de ventas
- Tasas de error, defectos o incidentes de seguridad en un programa de operaciones
- Puntajes de satisfacción del cliente o volumen de quejas en un programa de servicio
- Retención, tiempo hasta la productividad o ausentismo en un programa de gestión de personas
El Nivel 4 es el más difícil por una razón simple: muchas cosas mueven a la vez una métrica de negocio. Un programa de capacitación rara vez actúa solo. Ahí es donde los evaluadores recurren a grupos de comparación, líneas de tendencia base o estimaciones de los interesados, que el artículo sobre cómo demostrar el ROI de la capacitación explica paso a paso.
El modelo New World Kirkpatrick
El cambio más importante de la versión moderna es un cambio de secuencia. Los niveles tradicionales se leen como una línea de tiempo: se imparte el curso y luego se hacen cuatro preguntas. La versión New World le da la vuelta. Kirkpatrick Partners la describe como un énfasis en empezar por el Nivel 4 y trabajar hacia atrás durante el diseño (Kirkpatrick Partners).
Un orden de trabajo se ve así:
- Defina el resultado del Nivel 4. ¿Qué resultado organizacional debería cambiar y a quién le importa?
- Identifique los indicadores adelantados. Son observaciones y mediciones de corto plazo que sugieren que los comportamientos críticos van camino de generar un impacto positivo en los resultados deseados (cuaderno de trabajo de Kirkpatrick Partners).
- Defina los comportamientos críticos del Nivel 3. ¿Qué exactamente deben hacer distinto las personas?
- Especifique los impulsores necesarios. Son procesos y sistemas que refuerzan, supervisan, fomentan y recompensan el desempeño de los comportamientos críticos en el trabajo (mismo cuaderno).
- Diseñe el aprendizaje (Nivel 2) y la experiencia (Nivel 1). Solo ahora decide cómo se ve el programa.
Dos de esos términos son nuevos y merecen detenerse.
Impulsores necesarios. Un impulsor es cualquier cosa fuera del curso que hace más probable el nuevo comportamiento: coaching, ayudas de trabajo, elogios del gerente, repasos, reconocimiento o pago por desempeño. La propia guía de Kirkpatrick Partners da como ejemplo elogiar a un empleado al que se ve aplicando un comportamiento recién aprendido, y enumera el coaching, la mentoría y el pago por desempeño como otros impulsores, señalando que los gerentes necesitan orientación sobre cómo usarlos (Kirkpatrick Partners, Rao). Es la respuesta directa del modelo al problema del Nivel 3. En lugar de esperar que el comportamiento se transfiera, usted planifica el apoyo.
Indicadores adelantados. Los resultados del Nivel 4 llegan tarde. Los indicadores adelantados dan una lectura temprana. En el mismo artículo de Kirkpatrick Partners, tras un programa de comunicación, los gerentes podían encuestar a los clientes sobre los correos que reciben y vigilar si disminuyen las escalaciones ligadas a problemas de comunicación.
Retorno sobre las expectativas
El modelo New World también se apoya en el Retorno sobre las Expectativas, o ROE. Kirkpatrick Partners lo describe como lo que una iniciativa de capacitación exitosa entrega a los principales interesados del negocio, mostrando hasta qué punto se cumplieron sus expectativas, y dice que debe conversarse con el negocio antes de construir un programa (Kirkpatrick Partners, Rao).
En la práctica, el ROE es una conversación, no un cálculo. Usted se sienta con el interesado que paga el programa y le pregunta cómo se vería el éxito para él, en términos que reconocería dentro de un año. La respuesta se convierte en la meta del Nivel 4. También cambia a quién va dirigido el informe: no al equipo de L&D, sino a la persona cuyas expectativas se fijaron al comienzo.
Phillips y el Nivel 5
Jack Phillips amplió la estructura con un quinto nivel, el Retorno de la Inversión. El ROI Institute describe los cinco niveles como Reacción y Acción Planificada, Aprendizaje, Aplicación e Implementación, Impacto en el Negocio y ROI, donde el último nivel compara los beneficios monetarios con los costos. También considera un paso esencial aislar el efecto del programa, con métodos como grupos de control y análisis de línea de tendencia (ROI Institute).
Así, Phillips hace dos cosas que los niveles de Kirkpatrick no hacen. Convierte el impacto del Nivel 4 en dinero e insiste en aislar la contribución del programa antes de hacerlo. Si necesita la fórmula, las categorías de costos y un ejemplo resuelto, están en cómo demostrar el ROI de la capacitación a los compradores. Muchas organizaciones usan Kirkpatrick como marco general y añaden el paso de Phillips solo para unos pocos programas de alto costo o alta visibilidad.
Críticas al modelo
La popularidad del modelo siempre ha convivido con el escepticismo académico. Las tres críticas más citadas plantean puntos distintos.
Alliger y Janak (1989). Treinta años después de los artículos originales, identificaron tres supuestos problemáticos: que los niveles están ordenados de forma ascendente según la información que aportan, que están vinculados causalmente y que se correlacionan positivamente entre sí. Examinaron con qué frecuencia aparece cada nivel en los estudios de evaluación publicados y qué dicen las correlaciones de la literatura sobre el segundo y el tercer supuesto (Alliger y Janak, 1989). La lección práctica: un buen puntaje en el Nivel 1 no predice un buen puntaje en el Nivel 2, y no se puede asumir una cadena causal de un nivel al siguiente.
Holton (1996). Sostuvo que el sistema de cuatro niveles es en realidad una taxonomía de resultados y que falla como modelo de evaluación. Un verdadero modelo, en su opinión, debe especificar correctamente los resultados, tener en cuenta las variables intervinientes e indicar relaciones causales. Propuso una alternativa que considera variables como la motivación para aprender, la capacidad de aprendizaje, las actitudes hacia el trabajo, las características personales y las condiciones de transferencia de la capacitación, y dio un nuevo papel a las reacciones de los participantes (Holton, 1996). La crítica apunta al modelo original. Observe cómo los impulsores necesarios de la versión New World responden en parte a ella, al nombrar las condiciones del lugar de trabajo como elementos de diseño.
Bates (2004). Reid Bates añadió un análisis crítico posterior en Evaluation and Program Planning, titulado «A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence» (Bates, 2004). Vale la pena leerlo completo si piensa apoyarse en el modelo en un entorno de alto riesgo.
En conjunto, las críticas sugieren una lectura justa. Los niveles son una lista de verificación útil de tipos de evidencia. No son una teoría causal de cómo la capacitación produce resultados, y no deberían usarse como tal.
Cómo aplicar el modelo
De las fuentes anteriores se desprenden algunas prácticas.
Empiece por la conversación con el interesado. Antes de diseñar nada, acuerde el resultado del Nivel 4 con la persona que juzgará el programa. Si además está haciendo un análisis de necesidades de capacitación, esta conversación es el puente natural entre la brecha que encontró y la evidencia que recopilará.
Elija pocos indicadores adelantados. Dos o tres que se puedan leer en semanas valen más que una docena que nadie recopila.
Escriba los comportamientos críticos en términos observables. «Se comunica mejor» no se puede observar. «Confirma el problema del cliente en la primera respuesta antes de proponer una solución» sí.
Planifique los impulsores y nombre a sus responsables. Un impulsor sin responsable es una esperanza. Decida quién hace el coaching, quién verifica y qué se le pide al gerente del participante.
Mida el Nivel 2 contra una línea base. Sin una prueba previa o equivalente, es difícil atribuir al programa un buen resultado posterior, como señala Nickols.
Ajuste el esfuerzo a lo que está en juego. Una evaluación completa de los Niveles 3 y 4 para cada curso no es realista. El propio cuaderno de trabajo de Kirkpatrick Partners plantea el trabajo como la evaluación de un programa de misión crítica, lo que implica elegir. Reserve el tratamiento pesado para programas costosos, estratégicos o políticamente visibles. Si el programa se construye sobre un proceso de diseño estructurado como ADDIE, la planificación de la evaluación encaja de forma natural en su fase final.
Preguntas frecuentes sobre el modelo de Kirkpatrick
¿Cuáles son los cuatro niveles del modelo de Kirkpatrick?
Reacción, Aprendizaje, Comportamiento y Resultados. Preguntan, en orden, si los participantes encontraron el programa favorable y relevante, si adquirieron los conocimientos, habilidades, actitud, confianza y compromiso previstos, si ejecutan los comportamientos críticos en el trabajo y si se produjeron los resultados organizacionales buscados.
¿Quién creó el modelo de Kirkpatrick y cuándo?
Donald Kirkpatrick expuso el enfoque de cuatro niveles en cuatro artículos de la revista de la American Society of Training Directors, desde noviembre de 1959 hasta febrero de 1960. Las ediciones y actualizaciones posteriores se desarrollaron con su hijo James y con Wendy Kirkpatrick.
¿Qué es el modelo New World Kirkpatrick?
Es la versión actualizada que enseña Kirkpatrick Partners. Indica a los evaluadores empezar por el Nivel 4 y trabajar hacia atrás, definir indicadores adelantados y comportamientos críticos, planificar los impulsores necesarios que respaldan esos comportamientos y solo entonces diseñar el aprendizaje. También coloca el Retorno sobre las Expectativas en el centro de la conversación con los interesados.
¿Qué son los impulsores necesarios y los indicadores adelantados?
Los impulsores necesarios son los procesos y sistemas que refuerzan, supervisan, fomentan y recompensan el desempeño de los comportamientos críticos en el trabajo, como el coaching, las ayudas de trabajo y el reconocimiento. Los indicadores adelantados son observaciones y mediciones de corto plazo que sugieren que esos comportamientos van camino de producir los resultados deseados.
¿Mide el modelo de Kirkpatrick el ROI?
No en sus cuatro niveles. El ROI como quinto nivel lo añadió Jack Phillips, cuya metodología convierte el impacto en el negocio en dinero y lo compara con los costos totales tras aislar el efecto del programa. El modelo New World ofrece el Retorno sobre las Expectativas, que es una idea distinta, definida por los interesados.
¿Cuáles son las principales críticas al modelo de Kirkpatrick?
Alliger y Janak cuestionaron los supuestos de que los niveles ascienden en valor informativo, están vinculados causalmente y se correlacionan positivamente. Holton sostuvo que es una taxonomía de resultados y no un verdadero modelo de evaluación, porque no especifica variables intervinientes ni relaciones causales.
¿Hay que evaluar todos los niveles en todos los programas?
No. Los datos de los Niveles 1 y 2 son baratos y suele valer la pena recopilarlos. La evaluación de los Niveles 3 y 4 exige un esfuerzo real, por lo que conviene reservarla para programas costosos, estratégicos o de alta visibilidad.
Lecturas relacionadas
Co-Founder & COO