Métricas de adoção de produtos de IA

Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
A adoção de um produto de IA é a parcela dos usuários previstos que concluem repetidamente uma tarefa real com ele e continuam fazendo isso. Não são cadastros, logins nem seats vendidos. Esses números são fáceis de coletar e favorecem quase todo produto de IA, porque as pessoas experimentam ferramentas de IA por curiosidade e muitas param depois de uma semana.
Esta página apresenta um sistema de medição para fundadores: um framework para organizar as métricas, as métricas específicas que importam para IA e os pontos em que uso e valor se separam. O assunto é como medir, não como melhorar. Para o lado da melhoria, veja onboarding e time to value e churn de produtos de IA.
Por que cadastros e logins enganam
O problema é mais agudo em IA. Um produto de IA típico tem uma curva de novidade: uso intenso na primeira semana e depois uma queda quando o comprador percebe os limites. Um comprador também pode estar pagando por seats que ninguém abre. E um usuário pode usar o produto todos os dias enquanto o resultado vai direto para o lixo. Cada um desses casos parece normal em um dashboard de logins.
Uma boa medição separa quatro perguntas: as pessoas começaram, elas voltam, elas usam com profundidade e o produto funciona? Essas perguntas correspondem de perto a um framework publicado, então use-o em vez de inventar um.
O framework HEART
Rodden, Hutchinson e Fu, do Google, propuseram o HEART em Measuring the User Experience on a Large Scale (CHI 2010). A sigla significa Happiness, Engagement, Adoption, Retention e Task Success (felicidade, engajamento, adoção, retenção e sucesso na tarefa). Os autores o apresentam como um conjunto de categorias a partir das quais uma equipe escolhe métricas específicas, não como uma lista fixa de números.

O artigo contrasta o HEART com o que chama de métricas PULSE: page views, uptime, latência, usuários ativos em sete dias e receita. As métricas PULSE importam, dizem os autores, mas acompanham a saúde técnica e do negócio, não a qualidade da experiência do usuário. O HEART foi pensado para complementá-las.
| Categoria | O que pergunta | Exemplo em produto de IA |
|---|---|---|
| Happiness | Os usuários gostam? | Polegar para cima ou para baixo nos resultados, pesquisa de satisfação |
| Engagement | Com que profundidade e frequência usam? | Tarefas por usuário ativo por semana, dias ativos por semana |
| Adoption | Novos usuários estão começando? | Parcela de novas contas que concluem uma primeira tarefa real |
| Retention | Eles continuam usando? | Parcela de uma coorte da primeira semana ainda ativa na semana doze |
| Task Success | O produto cumpre o trabalho? | Resultado aceito sem edições, tarefa concluída de ponta a ponta |
O artigo também oferece o método de trabalho: Goals, Signals, Metrics (objetivos, sinais, métricas). Primeiro, declare o que um produto ou funcionalidade deve alcançar para os usuários; depois, nomeie os sinais que mostrariam que isso aconteceu; por fim, construa métricas a partir desses sinais.
Três detalhes do artigo se aplicam diretamente a produtos de IA.
Nem toda categoria serve para todo produto. Os autores observam que o Engagement pode não fazer sentido em um ambiente corporativo em que se espera que as pessoas usem o produto como parte do trabalho. Nesse caso, uma equipe pode se apoiar em Happiness ou Task Success. A maioria dos produtos B2B de IA está nessa situação, então não imponha metas de uso diário a uma ferramenta que as pessoas abrem quando o trabalho chega.
Reporte engajamento por usuário, não no total. O artigo recomenda médias por usuário, porque um total em alta pode vir de mais usuários em vez de mais uso. Um fundador que acompanha o total de prompts por mês verá crescimento todo mês enquanto o produto continua raso.
Defina "adotado" como uma tarefa concluída. O artigo diz que, em alguns produtos, visitar o site pode contar como uso, enquanto em outros um visitante só conta como tendo adotado depois de concluir uma tarefa-chave. Para um produto de IA, a segunda definição é quase sempre a correta.
Ativação: definindo o primeiro uso real
Ativação é o momento em que um novo usuário obtém um primeiro resultado que gostaria de manter. Ela fica entre o cadastro e o hábito, e é a métrica que mais vale definir com cuidado, porque tudo o que vem depois depende dela.
Uma definição de ativação utilizável tem três partes:
- Uma ação específica, como "executou o primeiro workflow com dados reais" em vez de "criou uma conta".
- Uma condição de qualidade, como "aceitou ou exportou o resultado".
- Uma janela de tempo, como "nos primeiros sete dias".
Meça a parcela de novas contas que atingem esse ponto e o tempo que levam para chegar lá. Se a sua definição de ativação pode ser cumprida clicando por aí com dados de exemplo, ela está medindo curiosidade. Vincule-a ao próprio trabalho do usuário.
Profundidade e frequência de uso
Depois da ativação, a pergunta passa a ser quanto e com que frequência. Três famílias de métricas cobrem isso.

Frequência. O exemplo do Gmail no artigo do HEART é um padrão útil. A equipe do Gmail queria um sinal de engajamento melhor do que usuários ativos em sete dias, então mediu o percentual de usuários ativos que acessaram em cinco ou mais dias na última semana. Os autores relatam que essa métrica previa fortemente a retenção de longo prazo. A lição para produtos de IA: escolha um limite de frequência que corresponda ao trabalho e verifique se ele prevê quem fica.
Índices de stickiness. DAU/MAU (usuários ativos diários divididos por usuários ativos mensais) é o atalho comum. Ele serve para produtos que as pessoas usam diariamente e engana em produtos que, por natureza, são usados semanal ou mensalmente. Escolha a janela que corresponda ao ciclo natural do trabalho, como ativos semanais sobre ativos mensais.
Profundidade. Conte o que os usuários fazem por sessão, não se apareceram. Sinais úteis de profundidade para produtos de IA:
- Tarefas concluídas por usuário ativo, por semana
- Parcela de usuários que executam mais de um tipo de tarefa
- Parcela do trabalho que passa pelo produto versus o que é feito de outra forma
- Uso de funcionalidades que exigem mais configuração, como integrações ou contexto salvo
Um produto usado para uma única tarefa estreita é fácil de substituir. Um produto usado em quatro workflows tem custos de troca.
Aceitação e sucesso na tarefa
É aqui que produtos de IA precisam de métricas que o software comum não precisa. Um resultado de IA não é um clique que acontece ou não. O usuário pode aceitá-lo, editá-lo ou descartá-lo, e cada escolha é um sinal de uso.

A taxa de aceitação é o exemplo mais claro. No estudo do GitHub Productivity Assessment of Neural Code Completion (Ziegler et al., MAPS 2022), os autores definiram a taxa de aceitação como a fração das sugestões exibidas que foram aceitas para inclusão no arquivo de código. Eles cruzaram as respostas de pesquisa de 2.047 usuários do technical preview do Copilot com dados de uso da IDE. A taxa de aceitação foi a medida de uso que melhor previu a produtividade percebida pelos desenvolvedores, com correlação de 0,24, melhor do que medidas de quanto tempo o código aceito permanecia sem alterações. Os autores têm o cuidado de dizer que uma variância considerável ficou sem explicação e que a taxa de aceitação serve para monitoramento amplo, não para diagnóstico detalhado.
Leia isso pelo que é: uma correlação com a produtividade autodeclarada em um único produto, entre usuários de preview. Isso sustenta a taxa de aceitação como sinal de primeira linha, não como prova de valor. Um usuário pode aceitar uma sugestão medíocre porque editá-la dá mais trabalho do que rejeitá-la.
Construa uma pequena família de métricas no nível da tarefa em vez de uma só:
| Métrica | Definição | O que ela revela |
|---|---|---|
| Taxa de aceitação | Resultados aceitos divididos por resultados exibidos | Se as sugestões são úteis à primeira vista |
| Distância ou taxa de edição | Quanto os usuários alteram os resultados aceitos | Se "aceito" significa "bom" |
| Taxa de conclusão de tarefas | Tarefas concluídas de ponta a ponta divididas por tarefas iniciadas | Se o produto termina o trabalho |
| Taxa de nova tentativa | Regenerações ou prompts repetidos por tarefa | Atrito, ou resultados que erram o alvo |
| Taxa de escalonamento ou fallback | Tarefas devolvidas a uma pessoa ou a outra ferramenta | Onde o produto não merece confiança |
Combine essas métricas com uma avaliação de qualidade regular, para que uma mudança na aceitação não seja mal interpretada. Veja confiança e avaliação em IA para saber como montar isso.
Coortes de retenção
A retenção é a métrica que separa um produto de uma demo. O artigo do HEART a define como quantos usuários de um determinado período ainda estão presentes em um período posterior, por exemplo o percentual de usuários ativos em sete dias em uma semana que continuam ativos em sete dias três meses depois. Ele também observa que o intervalo certo varia: semana a semana serve para alguns produtos, e mensal ou 90 dias para outros.
A forma padrão de ler a retenção é uma tabela de coortes. Agrupe os usuários pela semana em que começaram e acompanhe qual parcela de cada grupo continua ativa em cada semana seguinte. As linhas são coortes, as colunas são semanas desde o cadastro.
O que procurar:
- Uma curva que se estabiliza. Se cada coorte cai e depois se nivela em algum percentual, você tem um núcleo de pessoas para quem o produto funciona. Se a curva continua caindo em direção a zero, você ainda não tem retenção.
- Coortes novas superando as antigas. Essa é a evidência mais clara de que as mudanças no produto e no onboarding estão funcionando. A retenção agregada esconde isso, porque os usuários antigos diluem a média.
A retenção no nível do usuário alimenta os números no nível da conta abordados em net revenue retention. As métricas de adoção são indicadores antecedentes desses indicadores tardios.
Adoção por seat vs. adoção por conta
Produtos B2B de IA são vendidos para contas e usados por indivíduos, então você precisa das duas visões.

A adoção por conta pergunta se o cliente está obtendo valor como organização: quantas equipes usam o produto, se ele está incorporado a um processo, se um patrocinador executivo consegue apontar um resultado.
A adoção por seat pergunta quantas das pessoas com licença realmente usam o produto, e com que profundidade. Uma falha comum é uma conta que comprou 200 seats depois de um piloto bem-sucedido e em que 30 pessoas usam o produto semanalmente. A conversa de renovação começa pelas licenças sem uso, e a equipe financeira do comprador vai vê-las antes de você.
Acompanhe a parcela ativa dos seats pagos e a distribuição do uso entre eles. Uma média esconde o padrão. Muitas vezes, um punhado de power users gera a maior parte do uso e o restante mal faz login.
Alimente o health score do cliente com esses números para que o customer success perceba a baixa adoção antes que a data de renovação chegue.
A distância entre uso e valor
Uso alto não garante valor, e uso baixo nem sempre significa fracasso. Mantenha esses casos separados.
Uso sem valor. Os usuários abrem o produto porque um gestor mandou, ou porque o hábito se formou antes de a novidade passar. O resultado não é aproveitado. Sinais: taxa alta de novas tentativas, muita edição, baixa conclusão de tarefas e notas de pesquisa que ficam atrás da atividade.
Valor sem uso. O produto lida com uma tarefa rara, mas cara, então o uso é baixo e o resultado é grande.
Valor que não aparece no dashboard do produto. O benefício aparece em outro lugar, no tempo de ciclo, nas taxas de erro ou na capacidade de uma equipe. O estudo do NBER de Brynjolfsson, Li e Raymond, Generative AI at Work, mediu um assistente de IA entre 5.179 agentes de suporte ao cliente. Ele constatou que a produtividade, medida em chamados resolvidos por hora, subiu 14% em média, e 34% entre trabalhadores iniciantes e menos qualificados, com impacto mínimo entre os experientes e altamente qualificados. O ponto para os fundadores não é o número principal. É que o valor foi medido em relação a um resultado de negócio e dividido por tipo de usuário, e que os ganhos foram desiguais. Uma média de adoção sem segmentação teria escondido isso.
É por isso que as métricas de adoção precisam se conectar a um resultado que o cliente já mede. Se você não consegue mostrar a ligação entre uso e resultado, não consegue defender a renovação. ROI de produtos de IA e o business case mostra como construir essa ligação, e pilotos de IA que viram contratos mostra como acordar a linha de base antes de o piloto começar.
Montando um conjunto de métricas que não mente
Você não precisa de trinta métricas. Um conjunto prático para um produto de IA em estágio inicial cobre cada categoria do HEART uma vez e cabe em uma página.
| Categoria HEART | Uma métrica para começar | Cadência de revisão |
|---|---|---|
| Adoption | Parcela de novas contas ativadas em até sete dias | Semanal |
| Engagement | Tarefas por usuário ativo por semana | Semanal |
| Retention | Retenção nas semanas 4 e 12 por coorte de cadastro | Mensal |
| Task Success | Taxa de aceitação mais taxa de conclusão de tarefas | Semanal |
| Happiness | Nota de feedback dos resultados e uma pergunta periódica de satisfação | Mensal |
| Saúde da conta | Parcela ativa dos seats pagos | Mensal |
Siga a ordem Goals, Signals, Metrics. Escreva o objetivo, como "um líder de suporte resolve chamados mais rápido", nomeie o sinal, como "chamados fechados com um rascunho de IA aceito", e só então defina a métrica.
Alguns hábitos mantêm os números honestos:
- Exclua contas internas e de teste antes de ler qualquer coisa.
- Defina as métricas uma vez e registre por escrito. Mudar a definição de ativação no meio do trimestre torna as tendências sem sentido.
- Segmente por tipo de cliente. Médias entre clientes muito diferentes não descrevem nenhum deles.
- Posicione as métricas na sua hierarquia. As métricas de adoção são insumos para resultados como retenção e receita. Deixe claro quais são direcionadores e quais são resultados.
Fatos principais
- Framework HEART: Happiness, Engagement, Adoption, Retention e Task Success, apresentado por Rodden, Hutchinson e Fu no CHI 2010 para complementar métricas PULSE, como page views e usuários ativos em sete dias.
- Método: o mesmo artigo combina o HEART com um processo de Goals, Signals, Metrics, para que cada métrica remeta a um objetivo declarado.
- Defina adoção por uma tarefa concluída, não por uma visita; o artigo observa que alguns produtos devem contar um usuário como adotante apenas depois que uma tarefa-chave for concluída.
- Taxa de aceitação: no estudo do Copilot do GitHub, a parcela de sugestões exibidas que foram aceitas foi a medida de uso que melhor previu a produtividade percebida (correlação de 0,24, 2.047 respostas de pesquisa cruzadas), com variância considerável sem explicação.
- Medição vinculada a resultados: um ganho médio de produtividade de 14% entre 5.179 agentes de suporte escondia um ganho de 34% para trabalhadores iniciantes e impacto mínimo para os experientes.
- Coortes em vez de médias: leia a retenção por coorte de cadastro e procure uma curva que se estabiliza, não uma que continua caindo.
- Duas visões: acompanhe a parcela ativa dos seats pagos, além da incorporação no nível da conta.
Perguntas frequentes sobre métricas de adoção de produtos de IA
Qual é a métrica de adoção mais importante para um produto de IA?
Não existe uma só, mas a retenção por coorte de cadastro é a que chega mais perto. Ela mostra se as pessoas continuam obtendo valor depois que a novidade passa, e não pode ser inflada por cadastros ou testes pontuais. Combine-a com uma taxa de ativação para ver em que ponto os novos usuários desistem.
O que é o framework HEART?
O HEART é um conjunto de cinco categorias para métricas centradas no usuário: Happiness, Engagement, Adoption, Retention e Task Success. Os pesquisadores do Google Rodden, Hutchinson e Fu o apresentaram no CHI 2010, junto com um processo de Goals, Signals, Metrics para transformar cada categoria em medidas específicas. As equipes escolhem as categorias que se encaixam no seu produto.
DAU/MAU é uma boa métrica de stickiness para produtos de IA?
Só quando o produto foi feito para uso diário. Uma ferramenta que apoia uma tarefa semanal ou mensal mostrará um índice baixo mesmo quando os clientes a valorizam. Escolha uma janela de atividade que corresponda ao ciclo natural do trabalho e confirme que a métrica prevê quem é retido.
Qual é uma boa taxa de aceitação para resultados de IA?
Não existe um benchmark universal, porque depende da tarefa, do usuário e de como as sugestões são exibidas. O estudo do GitHub constatou que a taxa de aceitação variava significativamente entre desenvolvedores e ao longo do tempo. Acompanhe a sua própria taxa por segmento de usuário e ao longo do tempo, e combine-a com a taxa de edição para que "aceito" de fato signifique útil.
Como diferenciar uso de valor?
Compare o uso do produto com um resultado que o cliente já mede, como tempo de resolução ou taxa de erro. Uso sem melhora nesse resultado é um sinal de alerta. Muitas novas tentativas, muita edição e baixa conclusão de tarefas junto com atividade alta sugerem que as pessoas estão usando o produto, mas não confiam nele.
Startups B2B de IA devem medir a adoção por seat ou por conta?
As duas. A adoção por conta mostra se o produto está incorporado a um processo, e a adoção por seat mostra quantas pessoas licenciadas o usam. Uma conta grande com poucos seats ativos é um risco de renovação, então acompanhe a parcela ativa dos seats pagos e como o uso se distribui entre eles.

Co-Founder & COO