Métricas de Engajamento dos Alunos

O que são métricas de engajamento dos alunos, ilustrado por três instrumentos de engajamento

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

"Engajamento" é a palavra mais usada nos dashboards de produtos de aprendizagem e uma das menos definidas. Um aluno que faz login todos os dias e passa pelos slides sem lê-los parece muito engajado em um gráfico de logins. Um aluno que estuda offline por duas horas e depois faz a prova final parece ausente.

As métricas de engajamento dos alunos são as medições que um negócio de aprendizagem ou uma equipe de treinamento usa para julgar se as pessoas estão de fato participando da aprendizagem, e não apenas inscritas nela. Este artigo cobre o que os pesquisadores querem dizer com engajamento, as métricas que as equipes de EdTech e L&D acompanham, como distinguir indicadores antecedentes de indicadores de resultado, por que alguns números são métricas de vaidade, o que a pesquisa diz sobre dados de atividade e resultados e quais regras de privacidade se aplicam quando você os coleta.

Fatos Principais

  • Os pesquisadores costumam dividir o engajamento em três partes: comportamental (participação), emocional (sentimentos em relação à aprendizagem) e cognitivo (investimento em compreender). Uma revisão de 2004 amplamente citada recomenda estudá-lo como um construto multifacetado (Fredricks, Blumenfeld e Paris, 2004).
  • A maioria das métricas de plataforma captura apenas a parte comportamental. O engajamento emocional e o cognitivo exigem pesquisas, avaliações ou dados de interação mais ricos.
  • Em um curso do Blackboard Vista, 15 variáveis de rastreamento do LMS se correlacionaram de forma significativa com a nota final, e um modelo construído a partir de postagens em discussões, mensagens de e-mail e avaliações concluídas explicou mais de 30% da variação da nota (Macfadyen e Dawson, 2010).
  • Um estudo de nove cursos de graduação em formato híbrido (n = 4.134) constatou que os recursos do LMS que previam o sucesso diferiam de curso para curso, de modo que um único modelo genérico pode superestimar ou subestimar o efeito deles (Gasevic et al., 2016).
  • Pelo GDPR, os dados pessoais devem se limitar ao necessário para a finalidade declarada (GDPR, Artigo 5). Coletar cada clique "por precaução" conflita com esse princípio.

O que "engajamento" significa

O termo vem da pesquisa em educação, não da análise de produto. Fredricks, Blumenfeld e Paris revisaram a literatura sobre engajamento escolar em 2004 na Review of Educational Research. Eles descrevem o engajamento comportamental, emocional e cognitivo e recomendam tratar o engajamento como um construto multifacetado, observando ao mesmo tempo que a pesquisa até então tinha limites e que eram necessárias descrições mais ricas de como os alunos se comportam, sentem e pensam (Fredricks, Blumenfeld e Paris, 2004). A revisão tratava de alunos de escola, de modo que os aprendizes corporativos adultos são uma extensão do referencial, não um teste direto dele.

As três partes são fáceis de traduzir para produtos de aprendizagem.

Tipo O que abrange Exemplos de sinais
Comportamental Participação e esforço Logins, lições iniciadas, tarefas entregues, postagens em fóruns, presença em sessões ao vivo
Emocional Reações e atitudes Notas de satisfação, pontuações de "você recomendaria", sentimento nos comentários, retorno voluntário
Cognitivo Esforço mental e estratégia Qualidade das respostas, uso de questões de prática, tempo gasto em itens difíceis, autoexplicação, aplicação do material ao trabalho

O ponto prático é que um dashboard construído apenas com logs mede uma das três. Isso não é um defeito, desde que todos saibam. Torna-se um problema quando o "score de engajamento" é relatado como se cobrisse as três.

As métricas centrais

As equipes costumam acompanhar uma combinação de alcance, atividade, progresso e sentimento. A tabela abaixo define as mais comuns, dá uma fórmula típica e diz o que cada uma deixa de captar. As fórmulas variam de empresa para empresa, então escreva sua própria definição antes de comparar números entre equipes ou fornecedores.

Definir atividade significativa do aluno, ilustrado por um paquímetro em torno de uma tentativa de aprendizagem

Métrica Definição Fórmula típica O que deixa de captar
Alunos ativos (DAU, WAU, MAU) Alunos distintos que fizeram uma ação qualificadora em um dia, semana ou mês Contagem de usuários únicos com um evento qualificador na janela Depende inteiramente do que "qualificador" significa. Só o login diz pouco
Stickiness Com que frequência os usuários mensais voltam em um determinado dia DAU dividido por MAU O uso diário não é a meta certa para um curso feito semanalmente ou um módulo de compliance feito uma vez por ano
Tempo na tarefa Tempo gasto em atividades de aprendizagem Soma do tempo de sessão em conteúdo, prática ou avaliação Abas ociosas, timeouts de sessão ruins e leitores rápidos distorcem o resultado. Muito tempo pode significar confusão
Logins vs atividade significativa Parcela dos logins que incluem uma ação de aprendizagem Sessões com uma lição, quiz ou postagem divididas por todas as sessões É preciso definir "significativa", e a definição muda a resposta
Progresso Até onde o aluno está no conteúdo atribuído Itens concluídos divididos por itens atribuídos Concluir não é aprender. Os alunos podem pular direto para o final
Taxa de conclusão Parcela dos alunos matriculados que terminam Concluintes divididos por matriculados Não diz nada sobre o quanto aprenderam. As definições de coorte e de prazo variam
Tentativas de avaliação Com que frequência os alunos tentam quizzes ou provas Tentativas por aluno e tentativas por item Repetições podem significar persistência ou chute
Participação em discussões Postar e responder em fóruns ou chat Postagens e respostas por aluno, parcela de alunos que postam Conta igualmente postagens de qualquer tamanho. Observar sem postar também é aprender
Taxa de retorno Parcela dos alunos que voltam após a primeira sessão Alunos com uma segunda sessão em até N dias divididos por alunos com uma primeira A janela N é arbitrária. Não separa o retorno para aprender do retorno para reconferir um prazo
Satisfação e NPS Opinião do aluno sobre a experiência Notas de pesquisa, ou percentual de promotores menos detratores Taxas de resposta baixas, e alunos satisfeitos nem sempre aprendem mais

Algumas observações para usá-las bem.

Defina primeiro a ação qualificadora. "Aluno ativo mensal" pode significar qualquer pessoa que abriu o app ou apenas quem concluiu uma lição ou respondeu a uma pergunta. Essas duas definições podem diferir por um fator grande. Escolha a definição que corresponda ao valor que você promete e mantenha-a fixa para que as tendências façam sentido.

Informe distribuições, não só médias. O tempo na tarefa e as contagens de atividade costumam ser assimétricos: um punhado de usuários intensos puxa a média para cima enquanto a maioria dos alunos faz pouco. Medianas e a parcela de alunos acima de um limite dizem mais.

Segmente. O engajamento difere por coorte, função, dispositivo, tipo de conteúdo e conforme o aluno escolheu o curso ou foi designado a ele. Um número misturado esconde tudo isso. Só a diferença entre aprendizagem voluntária e obrigatória já pode mudar o que é uma "boa" taxa de retorno.

Combine comportamento com resultado. Toda métrica comportamental precisa de uma companheira que diga se algo foi aprendido, como resultados de avaliações ou uma medida relevante para o trabalho. Mais sobre isso adiante.

Indicadores antecedentes e indicadores de resultado

Um indicador antecedente se move cedo e ajuda você a agir. Um indicador de resultado confirma o que já aconteceu.

Indicadores antecedentes vs de resultado: qual é a diferença, ilustrado por um farol inicial e um artefato finalizado

Os indicadores antecedentes incluem a atividade da primeira semana, a parcela de alunos que começam a primeira lição poucos dias após a matrícula, as primeiras tentativas de quiz, uma segunda sessão e a primeira postagem em discussão. Eles dizem rapidamente se o onboarding está funcionando. Um aluno que nunca começa é um problema de retenção que ainda dá para corrigir.

Os indicadores de resultado incluem a conclusão, os resultados da avaliação final, a certificação, a renovação e o resultado de negócio que o treinamento pretendia mudar. São os números que os compradores valorizam, mas chegam quando já é tarde para mudar a turma que está à sua frente.

O movimento útil é descobrir quais sinais iniciais preveem os de resultado no seu próprio produto. Se os alunos que tentam um quiz na primeira semana concluem em taxas muito maiores, isso é algo para projetar em torno: estimule a primeira tentativa. A pesquisa sobre previsão, adiante, mostra por que você deve verificar isso localmente em vez de presumir. Para a conclusão em particular, veja taxas de conclusão de cursos quando for publicado e, pelo lado da compra, como esses números alimentam conversas de renovação em como provar o ROI do treinamento.

Métricas de vaidade

Uma métrica de vaidade é aquela que é fácil de fazer crescer, fica bem em um relatório e não muda decisões. Nos produtos de aprendizagem, os suspeitos de sempre são:

  • Usuários cadastrados. Contam inscrições, não uso. Só cresce.
  • Total de logins. Recompensa notificações e lembretes forçados. Um lembrete obrigatório de login infla o número sem nenhuma aprendizagem.
  • Horas de conteúdo consumido. Mistura estudo engajado com reprodução automática e abas abertas.
  • Conclusão sem avaliação. Se clicar em "próximo" até o último slide conta como concluído, então a conclusão mede paciência.
  • Badges e pontos ganhos. Podem ser úteis dentro de um design de jogo, mas, como número principal de engajamento, medem o jogo, não a aprendizagem.
  • Visualizações de curso ou inícios de vídeo. Começar não é terminar, e terminar não é entender.

Um teste rápido: se este número dobrasse amanhã, você saberia se a aprendizagem melhorou? Se não, é uma métrica de vaidade. Versões melhores combinam atividade com um resultado, por exemplo a parcela de alunos que responderam a pelo menos cinco questões de prática e melhoraram na segunda tentativa.

Tenha cuidado especial com mecânicas de engajamento que elevam o número sem elevar a aprendizagem. Pontos e sequências podem aumentar a atividade, mas se ajudam depende do design, que é um tema à parte em gamificação na aprendizagem.

O engajamento prevê os resultados de aprendizagem?

Em parte, e depende do curso.

O engajamento consegue prever a aprendizagem, ilustrado por uma lente sobre evidências parciais

Macfadyen e Dawson analisaram dados de rastreamento do LMS de um curso do Blackboard Vista em um estudo de prova de conceito publicado na Computers & Education. Eles encontraram 15 variáveis com correlação simples significativa com a nota final. Um modelo de regressão construído com variáveis como o número de mensagens postadas em discussões, mensagens de e-mail enviadas e avaliações concluídas explicou mais de 30% da variação da nota final, e um modelo logístico identificou corretamente 81% dos alunos reprovados (Macfadyen e Dawson, 2010). Duas coisas a ter em mente: foi um único curso, e explicar 30% da variação da nota significa que a maior parte ficou sem explicação.

Gasevic, Dawson, Rogers e Gasevic testaram então a ideia em nove cursos de graduação ministrados em formato híbrido, com 4.134 alunos. A conclusão foi que o poder preditivo e os preditores significativos diferiam entre os modelos específicos por curso e um modelo generalizado. Eles concluem que a pesquisa em analytics precisa levar em conta como a tecnologia é usada em cada curso e que ignorar as condições instrucionais pode superestimar ou subestimar os efeitos dos recursos do LMS sobre o sucesso acadêmico (Gasevic et al., 2016).

O que isso significa para uma equipe de produto ou de L&D:

  1. Os dados de atividade carregam sinal real. A participação e o comportamento em avaliações estão relacionados aos resultados, e por isso vale a pena construir dashboards de alerta precoce.
  2. O sinal não é portátil. Uma regra que funciona em um curso, como "menos de X postagens significa risco", pode falhar em outro em que a discussão não é avaliada nem esperada. Valide os preditores por tipo de curso e revalide quando o design do curso mudar.
  3. Correlação não é alavanca. Os alunos que postam mais podem ir melhor porque já estão motivados. Empurrar todos a postar mais não garante notas melhores. Teste intervenções, não apenas correlações.
  4. Os dois estudos foram no ensino superior. Os programas corporativos são diferentes: cursos mais curtos, menos avaliação, mais conteúdo obrigatório e resultados medidos no trabalho. Trate as conclusões como um alerta sobre método, não como um benchmark pronto.

Para ver como isso se conecta ao business case que os compradores pedem, veja a discussão sobre Kirkpatrick e Phillips em como provar o ROI do treinamento.

Engajamento em diferentes tipos de produto

As métricas certas mudam conforme o modelo de entrega.

Catálogos no próprio ritmo vivem ou morrem pelos inícios, pelo retorno e pela conclusão. As pessoas podem sair sem que ninguém perceba, então as métricas de início de sessão importam mais. Veja aprendizagem por coortes vs no próprio ritmo para entender por que a conclusão difere tanto entre os dois formatos.

Programas por coortes têm uma estrutura natural de presença e participação. A presença em sessões ao vivo, a entrega de tarefas e a interação entre colegas são mensuráveis e significativas, e as quedas de uma semana para outra são fáceis de notar. Os recursos de comunidade trazem seus próprios sinais, tratados em comunidades de aprendizagem.

Produtos de microaprendizagem e reforço geram muitos eventos pequenos. A tentação é relatar aberturas e sequências. As melhores medidas são a precisão da recuperação ao longo de tentativas espaçadas e se o comportamento-alvo muda, como discutido em microaprendizagem e em repetição espaçada e a curva do esquecimento.

Implantações de LMS e LXP dentro das empresas trazem uma pergunta diferente do comprador: alguém está usando o que compramos? As categorias se sobrepõem, mas as expectativas de engajamento não, como exposto em LMS vs LXP. As plataformas conduzidas pelo aluno são julgadas pelo uso voluntário, enquanto um LMS de compliance é julgado pela conclusão dentro do prazo.

Produtos de assinatura e com preço por uso ligam o engajamento diretamente à receita: o baixo engajamento tende a aparecer como churn na renovação, e cobrar por alunos ativos faz da definição de "ativo" um termo comercial, não apenas uma escolha de analytics.

Captura de dados: xAPI e design de eventos

A maioria das plataformas registra eventos básicos de fábrica, como logins, visualizações de página e conclusões. Uma mensuração mais rica exige um design de eventos consistente. O xAPI (Experience API) é um padrão aprovado pelo IEEE, o IEEE 9274.1.1, para registrar experiências de aprendizagem como declarações simples no padrão ator, verbo e objeto, armazenadas em um Learning Record Store (xAPI.com). Ele pode capturar atividade fora de um player de cursos, como simulações, apps móveis ou tarefas no trabalho.

Você não precisa de um padrão para começar, mas precisa de um dicionário de eventos escrito e curto: como cada evento se chama, quando dispara e o que conta. Sem isso, dois dashboards vão relatar dois "alunos ativos" diferentes a partir dos mesmos dados.

Privacidade e mensuração responsável

As métricas de engajamento são dados pessoais sobre pessoas identificáveis, e as regras dependem de quem são os seus alunos.

Coletar apenas os dados de aprendizagem necessários, ilustrado por um recipiente de coleta seletiva

Nos EUA, a FERPA protege a privacidade dos registros educacionais dos estudantes e se aplica a agências e instituições educacionais que recebem certos recursos federais, com as exigências se estendendo ao beneficiário como um todo, incluindo departamentos dentro de uma universidade (U.S. Department of Education, FERPA). Se o seu produto atende escolas ou universidades, os dados dos alunos que você mantém em nome delas normalmente estão no escopo por meio do contrato com a instituição. O treinamento corporativo geralmente não é coberto pela FERPA, embora possam se aplicar leis trabalhistas e leis estaduais de privacidade.

Na UE e no Reino Unido, o GDPR se aplica aos dados pessoais de pessoas nessas jurisdições, onde quer que sua empresa esteja. O Artigo 5 estabelece os princípios mais relevantes para analytics: limitação de finalidade (coletar para finalidades específicas e explícitas), minimização de dados (adequados, relevantes e limitados ao necessário), limitação de armazenamento e segurança (GDPR, Artigo 5).

Hábitos práticos que decorrem disso:

  • Decida a finalidade antes de coletar. "Para identificar alunos que travam na primeira semana e poder ajudá-los" é uma finalidade. "Tudo, caso seja útil" não é.
  • Colete o que a métrica precisa. O tempo na tarefa não exige registro no nível de teclas digitadas.
  • Seja transparente com os alunos sobre o que você acompanha e quem vê.
  • Separe apoio de vigilância. Usar dados de engajamento para oferecer ajuda é diferente de usá-los para ranquear ou punir indivíduos. Nos ambientes de trabalho, vincular a atividade de aprendizagem às avaliações de desempenho muda o comportamento dos alunos e pode levá-los a manipular os números.
  • Defina limites de retenção e exclua ou agregue os dados de que você não precisa mais.
  • Consulte um advogado para a sua situação. Este artigo é uma referência geral, não aconselhamento jurídico.

Uma stack de mensuração simples

Para uma equipe começando do zero, um mínimo viável é este.

  1. Uma definição escrita de aluno ativo, ligada a uma ação significativa.
  2. Três indicadores antecedentes: começou em até N dias após a matrícula, segunda sessão, primeira tentativa de avaliação.
  3. Duas medidas de resultado: conclusão com avaliação e um resultado ligado ao que o comprador quer, como uma verificação de habilidade ou uma métrica do trabalho.
  4. Uma medida de sentimento, com a taxa de resposta exibida ao lado da nota.
  5. Uma revisão semanal por segmento, não apenas uma média misturada.
  6. Uma nota de privacidade que informe finalidade, retenção e quem tem acesso.

Isso basta para tomar decisões. Acrescente mais apenas quando uma pergunta específica exigir.

Leitura relacionada

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.