O Modelo Kirkpatrick de Avaliação de Treinamento
Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
Pergunte a uma sala cheia de profissionais de aprendizagem como eles avaliam treinamentos e boa parte responderá "Kirkpatrick". O modelo de quatro níveis é o vocabulário padrão da área. Ele aparece em dashboards de fornecedores, em RFPs, em ementas de certificação e no primeiro slide de quase todo workshop de mensuração.
Ainda assim, costuma ser usado de forma frouxa. As pessoas citam o "Nível 4" sem defini-lo, ou tratam os níveis como uma escada que se sobe depois que o curso termina. Este artigo é uma referência sobre o modelo em si: de onde ele veio, o que cada nível significa e como medi-lo, como a atualização New World mudou a forma como ele deve ser usado, o que a literatura de pesquisa encontrou de errado nele e como aplicá-lo sem se enganar. Se o seu interesse é o ângulo comercial, o artigo complementar sobre como provar o ROI do treinamento para os compradores mostra como os vendedores constroem um business case em torno dessas ideias.
Fatos Principais
- O modelo tem quatro níveis: Reação, Aprendizagem, Comportamento e Resultados. A Kirkpatrick Partners atribui ao Dr. Donald Kirkpatrick a criação da estrutura em quatro partes na década de 1950 (Kirkpatrick Partners).
- Kirkpatrick apresentou a abordagem em quatro artigos no periódico da American Society of Training Directors, a partir de novembro de 1959 e terminando em fevereiro de 1960 (Nickols).
- A atualização conhecida como New World Kirkpatrick Model pede aos avaliadores que comecem pelo Nível 4 e trabalhem de trás para a frente, e acrescenta drivers obrigatórios e indicadores antecedentes (Kirkpatrick Partners).
- Em 1989, Alliger e Janak apontaram três premissas problemáticas no modelo: que os níveis crescem em valor informativo, que estão ligados por causalidade e que são positivamente intercorrelacionados (Alliger e Janak, 1989).
- Holton argumentou em 1996 que o sistema de quatro níveis é, na verdade, uma taxonomia de resultados e é falho como modelo de avaliação (Holton, 1996).
De onde o modelo veio
Donald Kirkpatrick apresentou sua abordagem de quatro níveis em uma série de quatro artigos no periódico da então American Society of Training Directors. O primeiro saiu em novembro de 1959 e o último em fevereiro de 1960. Os artigos foram reunidos mais tarde em uma coletânea de 1975, Evaluating Training Programs, publicada pela ASTD (Nickols). A Kirkpatrick Partners acrescenta que ele estabeleceu a estrutura na época em que concluiu sua tese de doutorado, Evaluating a Human Relations Training Program for Supervisors (Kirkpatrick Partners).
O modelo é antigo, escrito para uma profissão de diretores de treinamento que conduziam, na maior parte, programas presenciais com instrutor. E os níveis originais eram definidos de forma superficial. Em sua formulação original, a reação era "o quanto os treinandos gostaram de um determinado programa de treinamento", e para Resultados ele ofereceu exemplos em vez de uma definição: custos menores, menos rotatividade e absenteísmo, menos reclamações, maior qualidade e quantidade de produção ou melhor moral (Nickols). Boa parte do que hoje se trata como "o Modelo Kirkpatrick" foi acrescentada por autores posteriores, com mais destaque para James, filho de Donald, e sua esposa Wendy, cujas atualizações a Kirkpatrick Partners descreve como surgidas na década de 2010 (Kirkpatrick Partners). A terceira edição do livro, escrita com James, continua sendo publicada pela Berrett-Koehler (Penguin).
Os quatro níveis em detalhe
A Kirkpatrick Partners define atualmente os níveis assim (fonte):
| Nível | Nome | Definição (redação atual, resumida) |
|---|---|---|
| 1 | Reação | Se os participantes consideram a experiência favorável, envolvente e relevante para o trabalho |
| 2 | Aprendizagem | O grau em que as pessoas adquirem o conhecimento, as habilidades, a atitude, a confiança e o compromisso pretendidos |
| 3 | Comportamento | Se as pessoas executam os comportamentos críticos em seu ambiente de trabalho, com apoio dele e responsabilização por eles |
| 4 | Resultados | O grau em que os resultados organizacionais almejados ocorrem como consequência da experiência ou da iniciativa |
A ordem numerada é a ordem de coleta de dados em uma avaliação tradicional. Como você verá adiante, não é a ordem em que a versão New World manda planejar.
Nível 1: Reação
O Nível 1 pergunta como os participantes vivenciaram o programa. O enquadramento original era se eles gostaram. A definição atual acrescenta o engajamento e a relevância para o trabalho, o que importa porque "gostei do facilitador" e "posso usar isso na segunda-feira" são respostas muito diferentes.
Exemplos de métricas:
- Uma pesquisa pós-sessão com itens sobre relevância, além de satisfação
- Perguntas no estilo net promoter, do tipo "você recomendaria"
- Observação do facilitador sobre o engajamento durante a sessão
- Em programas digitais, pontos de abandono e adesão a atividades opcionais (veja métricas de engajamento dos alunos)
O Nível 1 é barato, rápido e útil como diagnóstico do próprio programa. Seu limite é que mede a experiência, não o resultado. Um curso fluido e divertido pode não ensinar nada, e um curso exigente pode ensinar muito.
Nível 2: Aprendizagem
O Nível 2 pergunta se as pessoas adquiriram o que o programa pretendia. A pergunta original de Kirkpatrick era quais princípios, fatos e técnicas foram compreendidos e absorvidos. Nickols observa que, para afirmar que a aprendizagem resultou do treinamento, é preciso conhecer o ponto de partida do aluno, o que significa medir antes e também depois (Nickols).
Exemplos de métricas:
- Notas de pré-teste e pós-teste no mesmo instrumento
- Uma demonstração prática de habilidades ou simulação, pontuada com uma rubrica
- Confiança autoavaliada antes e depois, que corresponde à parte de "confiança" da definição atual
- Uma declaração escrita de compromisso de aplicar ações específicas, que corresponde ao "compromisso"
O Nível 2 é onde a maioria das plataformas de cursos para, porque os dados de quiz são automáticos. Ele diz o que uma pessoa conseguia fazer ao final do programa. Não diz nada sobre se ela vai fazê-lo de volta ao trabalho.
Nível 3: Comportamento
O Nível 3 pergunta se as pessoas fazem as coisas de forma diferente no trabalho. É o nível que a maioria dos programas perde, porque a aprendizagem precisa sobreviver ao contato com um ambiente de trabalho que talvez não a apoie. A definição atual incorpora isso à redação: as pessoas executam os comportamentos críticos e são apoiadas e responsabilizadas por eles.
Exemplos de métricas:
- Observação do gestor ou de colegas com uma checklist dos comportamentos específicos
- Revisão de produtos de trabalho, como uma amostra de gravações de chamadas, code reviews ou e-mails a clientes
- Pesquisas de acompanhamento com os participantes e seus gestores algumas semanas ou meses depois
- Dados de sistema que reflitam o comportamento, como o uso de um novo processo ou ferramenta
O desafio de mensuração é o momento e a responsabilidade. A mudança de comportamento leva semanas para aparecer, e a pessoa mais bem posicionada para vê-la costuma ser o gestor do participante, não a equipe de L&D. Conseguir que um gestor preencha uma observação é tanto um problema de design quanto de mensuração. Para a pesquisa sobre por que a aprendizagem se transfere ou não, veja transferência de aprendizagem.
Nível 4: Resultados
O Nível 4 pergunta se os resultados organizacionais almejados aconteceram. Note a palavra "almejados". O modelo não pede que você encontre qualquer métrica de negócio que tenha se movido. Ele pergunta sobre os resultados que você e seus stakeholders disseram que buscavam.
Exemplos de métricas:
- Receita, taxa de vitória ou tamanho do negócio em um programa de vendas
- Taxas de erro, defeitos ou incidentes de segurança em um programa de operações
- Índices de satisfação do cliente ou volume de reclamações em um programa de atendimento
- Retenção, tempo até a produtividade ou absenteísmo em um programa de gestão de pessoas
O Nível 4 é o mais difícil por um motivo simples: muitas coisas movem uma métrica de negócio ao mesmo tempo. Um programa de treinamento raramente age sozinho. É aí que os avaliadores recorrem a grupos de comparação, linhas de base de tendência ou estimativas dos stakeholders, que o artigo sobre provar o ROI do treinamento detalha.
O New World Kirkpatrick Model
A mudança mais importante na versão moderna é uma mudança de sequência. Os níveis tradicionais se leem como uma linha do tempo: execute o curso e depois faça quatro perguntas. A versão New World inverte isso. A Kirkpatrick Partners a descreve como enfatizando que você começa pelo Nível 4 e trabalha de trás para a frente no design (Kirkpatrick Partners).
Uma ordem de trabalho fica assim:
- Defina o resultado do Nível 4. Que resultado organizacional deve mudar, e para quem isso importa?
- Identifique os indicadores antecedentes. São observações e medições de curto prazo que sugerem que os comportamentos críticos estão no caminho de gerar impacto positivo nos resultados desejados (workbook da Kirkpatrick Partners).
- Defina os comportamentos críticos do Nível 3. O que exatamente as pessoas precisam fazer de forma diferente?
- Especifique os drivers obrigatórios. São processos e sistemas que reforçam, monitoram, incentivam e recompensam o desempenho dos comportamentos críticos no trabalho (mesmo workbook).
- Projete a aprendizagem (Nível 2) e a experiência (Nível 1). Só agora você decide como o programa se parece.
Dois desses termos são novos e merecem atenção.
Drivers obrigatórios. Um driver é qualquer coisa fora do curso que torna o novo comportamento mais provável: coaching, job aids, elogio do gestor, reciclagens, reconhecimento ou remuneração por desempenho. A própria orientação da Kirkpatrick Partners dá como exemplo elogiar um funcionário que é visto aplicando um comportamento recém-aprendido, e lista coaching, mentoria e remuneração por desempenho como outros drivers, observando que os gestores precisam de orientação sobre como usá-los (Kirkpatrick Partners, Rao). Essa é a resposta direta do modelo ao problema do Nível 3. Em vez de esperar que o comportamento se transfira, você planeja o apoio.
Indicadores antecedentes. Os resultados do Nível 4 chegam tarde. Os indicadores antecedentes dão uma leitura antecipada. No mesmo artigo da Kirkpatrick Partners, depois de um programa de comunicação, os gestores poderiam pesquisar clientes sobre os e-mails que recebem e acompanhar se as escalações ligadas a problemas de comunicação diminuem.
Retorno sobre Expectativas
O modelo New World também se apoia no Retorno sobre Expectativas, ou ROE. A Kirkpatrick Partners o descreve como aquilo que uma iniciativa de treinamento bem-sucedida entrega aos principais stakeholders do negócio, mostrando o quanto as expectativas deles foram satisfeitas, e diz que ele deve ser discutido com o negócio antes de o programa ser construído (Kirkpatrick Partners, Rao).
Na prática, o ROE é uma conversa, não um cálculo. Você se senta com o stakeholder que está pagando pelo programa e pergunta como seria o sucesso para ele, em termos que ele reconheceria daqui a um ano. A resposta vira a meta do Nível 4. Isso também muda para quem é o relatório: não a equipe de L&D, mas a pessoa cujas expectativas foram definidas no início.
Phillips e o Nível 5
Jack Phillips ampliou a estrutura com um quinto nível, o Retorno sobre o Investimento. O ROI Institute descreve os cinco níveis como Reação e Ação Planejada, Aprendizagem, Aplicação e Implementação, Impacto no Negócio e ROI, em que o último nível compara os benefícios monetários com os custos. Ele também trata o isolamento do efeito do programa, com métodos como grupos de controle e análise de linha de tendência, como uma etapa essencial (ROI Institute).
Assim, Phillips faz duas coisas que os níveis de Kirkpatrick não fazem. Ele converte o impacto do Nível 4 em dinheiro e insiste em isolar a contribuição do programa antes de fazê-lo. Se você precisa da fórmula, das categorias de custo e de um exemplo prático, tudo está em como provar o ROI do treinamento para os compradores. Muitas organizações usam Kirkpatrick como estrutura geral e acrescentam a etapa de Phillips apenas para alguns programas de alto custo ou grande visibilidade.
Críticas ao modelo
A popularidade do modelo sempre conviveu com o ceticismo acadêmico. As três críticas mais citadas fazem pontos diferentes.
Alliger e Janak (1989). Trinta anos depois dos artigos originais, eles identificaram três premissas problemáticas: que os níveis estão dispostos em ordem crescente de informação fornecida, que estão ligados por causalidade e que são positivamente intercorrelacionados. Eles examinaram com que frequência cada nível aparece em estudos de avaliação publicados e o que as correlações da literatura dizem sobre a segunda e a terceira premissas (Alliger e Janak, 1989). A lição prática: um bom resultado no Nível 1 não prevê um bom resultado no Nível 2, e não se pode presumir uma cadeia de causa de um nível para o seguinte.
Holton (1996). Ele argumentou que o sistema de quatro níveis é, na verdade, uma taxonomia de resultados e é falho como modelo de avaliação. Um modelo de verdade, em sua visão, precisa especificar corretamente os resultados, considerar as variáveis intervenientes e indicar relações causais. Ele propôs uma alternativa que leva em conta variáveis como motivação para aprender, capacidade de aprendizagem, atitudes em relação ao trabalho, características pessoais e condições de transferência do treinamento, e deu às reações dos participantes um novo papel (Holton, 1996). A crítica é dirigida ao modelo original. Observe como os drivers obrigatórios da versão New World respondem a parte dela, ao nomear as condições do ambiente de trabalho como elementos de design.
Bates (2004). Reid Bates acrescentou uma análise crítica posterior na Evaluation and Program Planning, intitulada "A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence" (Bates, 2004). Vale a pena lê-la por inteiro se você pretende confiar no modelo em um contexto de alto risco.
Em conjunto, as críticas sugerem uma leitura justa. Os níveis são uma checklist útil dos tipos de evidência. Não são uma teoria causal de como o treinamento produz resultados, e não devem ser usados como tal.
Como aplicar o modelo
Algumas práticas decorrem das fontes acima.
Comece pela conversa com o stakeholder. Antes de projetar qualquer coisa, combine o resultado do Nível 4 com a pessoa que vai julgar o programa. Se você também está fazendo uma análise de necessidades de treinamento, essa conversa é a ponte natural entre a lacuna que você encontrou e a evidência que vai coletar.
Escolha um número pequeno de indicadores antecedentes. Dois ou três legíveis em semanas valem mais do que uma dúzia que ninguém coleta.
Escreva os comportamentos críticos em termos observáveis. "Se comunica melhor" não pode ser observado. "Confirma o problema do cliente na primeira resposta antes de propor uma solução" pode.
Planeje os drivers e nomeie os responsáveis. Um driver sem responsável é uma esperança. Decida quem faz o coaching, quem verifica e o que se pede ao gestor do participante.
Meça o Nível 2 contra uma linha de base. Sem um pré-teste ou equivalente, é difícil atribuir ao programa um bom resultado no pós-teste, como observa Nickols.
Ajuste o esforço ao que está em jogo. Uma avaliação completa dos Níveis 3 e 4 para todo curso é irrealista. O próprio workbook da Kirkpatrick Partners enquadra o trabalho como a avaliação de um programa de missão crítica, o que implica escolher. Reserve o tratamento pesado para programas caros, estratégicos ou politicamente visíveis. Se o programa é construído sobre um processo de design estruturado como o ADDIE, o planejamento da avaliação se encaixa naturalmente em sua fase final.
Perguntas frequentes sobre o Modelo Kirkpatrick
Quais são os quatro níveis do Modelo Kirkpatrick?
Reação, Aprendizagem, Comportamento e Resultados. Eles perguntam, em ordem, se os participantes consideraram o programa favorável e relevante, se adquiriram o conhecimento, as habilidades, a atitude, a confiança e o compromisso pretendidos, se executam os comportamentos críticos no trabalho e se os resultados organizacionais almejados aconteceram.
Quem criou o Modelo Kirkpatrick e quando?
Donald Kirkpatrick apresentou a abordagem de quatro níveis em quatro artigos no periódico da American Society of Training Directors, começando em novembro de 1959 e terminando em fevereiro de 1960. As edições e atualizações posteriores foram desenvolvidas com seu filho James e com Wendy Kirkpatrick.
O que é o New World Kirkpatrick Model?
É a versão atualizada ensinada pela Kirkpatrick Partners. Ela orienta os avaliadores a começar pelo Nível 4 e trabalhar de trás para a frente, definir indicadores antecedentes e comportamentos críticos, planejar os drivers obrigatórios que sustentam esses comportamentos e só então projetar a aprendizagem. Também coloca o Retorno sobre Expectativas no centro da conversa com o stakeholder.
O que são drivers obrigatórios e indicadores antecedentes?
Drivers obrigatórios são os processos e sistemas que reforçam, monitoram, incentivam e recompensam o desempenho dos comportamentos críticos no trabalho, como coaching, job aids e reconhecimento. Indicadores antecedentes são observações e medições de curto prazo que sugerem que esses comportamentos estão no caminho de produzir os resultados desejados.
O Modelo Kirkpatrick mede o ROI?
Não em seus quatro níveis. O ROI como quinto nível foi acrescentado por Jack Phillips, cuja metodologia converte o impacto no negócio em dinheiro e o compara com os custos totais depois de isolar o efeito do programa. O modelo New World oferece o Retorno sobre Expectativas, que é uma ideia diferente, definida pelo stakeholder.
Quais são as principais críticas ao Modelo Kirkpatrick?
Alliger e Janak questionaram as premissas de que os níveis crescem em valor informativo, estão ligados por causalidade e são positivamente intercorrelacionados. Holton argumentou que ele é uma taxonomia de resultados e não um verdadeiro modelo de avaliação, porque não especifica variáveis intervenientes nem relações causais.
É preciso avaliar todos os níveis em todos os programas?
Não. Os dados dos Níveis 1 e 2 são baratos e geralmente vale a pena coletá-los. A avaliação dos Níveis 3 e 4 exige esforço real, então faz sentido reservá-la para programas caros, estratégicos ou de grande visibilidade.
Leitura relacionada
Co-Founder & COO