O que é validated learning (aprendizado validado)?

O que é validated learning?: uma startup aprende quando o comportamento real do cliente testa uma crença do negócio e muda o que a equipe faz a seguir.

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Validated learning é uma lição sobre o seu negócio que foi confirmada por evidências de clientes reais, e não por opinião, projeção ou pelo entusiasmo da equipe. É a unidade de progresso do método Lean Startup. Uma startup que lançou três versões e não aprendeu nada sobre pelo que os clientes pagariam não progrediu muito. Uma startup que não lançou nada, mas provou, com o comportamento dos clientes, que uma crença central estava errada, progrediu.

A expressão vem de Eric Ries e é uma das ideias mais citadas e menos praticadas na construção de empresas em estágio inicial. As pessoas concordam com a cabeça e depois voltam a acompanhar cadastros e a lançar funcionalidades. Este guia explica o que o termo significa, como ele difere da medição comum, como desenhar um experimento que produza uma lição validada e quais armadilhas transformam silenciosamente o "aprendizado" de volta em palpite.

O que validated learning significa

Na página de princípios do Lean Startup, Ries contrapõe o validated learning à forma como outros setores medem o progresso. A comparação dele é que, na manufatura, o progresso é medido pela produção de bens de alta qualidade, enquanto a unidade de progresso das Lean Startups é o validated learning, que ele chama de método rigoroso para demonstrar progresso quando se está imerso em um terreno de incerteza extrema.

Duas ideias estão dentro dessa definição.

Progresso é uma mudança no que você sabe. Uma empresa nova ainda não sabe quem é o cliente, quanto ele pagaria ou como alcançá-lo. Escrever código, contratar e polir uma marca são atividades. Só contam como progresso se reduzirem uma dessas incógnitas.

"Validado" significa testado contra o comportamento. Em um post anterior sobre validated learning sobre clientes, Ries descreve a validação como dados que mostram que os principais riscos do negócio foram tratados pelo produto atual. Esses dados não precisam ser receita. Podem ser engajamento, retenção ou disseminação viral, qualquer coisa que conte uma história econômica crível sobre o negócio.

A diferença é fácil de sentir com duas afirmações sobre o mesmo produto:

  • "Os clientes adoram. Recebemos ótimos feedbacks nas demos."
  • "Das 40 contas de teste abertas em março, 14 ainda o usavam semanalmente em maio, e 9 delas pediram para ser faturadas."

A primeira é uma sensação. A segunda é uma lição que outra pessoa pode conferir e que aponta para uma decisão. Ambas falam do mesmo produto, e só uma é validada.

Fatos principais: Validated learning

  • Validated learning é um dos princípios do método Lean Startup, e o site oficial o chama de unidade de progresso das Lean Startups.
  • O mesmo site descreve a atividade fundamental da startup como transformar ideias em produtos, medir como os clientes respondem e aprender se deve fazer um pivot ou perseverar.
  • Ries descreve a validação como dados de que os principais riscos do negócio foram tratados pelo produto atual e diz que não precisa ser receita.
  • Ries argumenta que métricas de vaidade carecem de causalidade: um número grande não diz o que o causou nem como obter mais dele.
  • Um estudo randomizado com 116 startups italianas constatou que fundadores treinados para testar hipóteses como cientistas tiveram desempenho melhor e foram mais propensos a fazer pivot, sem abandonar o negócio mais cedo com maior frequência.
  • Não existe um formato padrão único para um experimento de validated learning. Os limites e as métricas variam conforme o negócio e o estágio.

Como ele difere da medição comum

A maioria das equipes já mede coisas. A diferença está em para que serve a medição.

Medição vs validated learning: um painel relata o que aconteceu. Uma hipótese e um limite definidos antes transformam o resultado do cliente em uma decisão de manter, mudar ou parar.

Medição comum Validated learning
Ponto de partida Os dados que você por acaso coleta Uma crença em que você pode estar errado
Pergunta "Como estamos indo?" "Esta crença específica é verdadeira?"
Registrado por escrito antes Raramente A previsão e a linha de aprovação
Resultado típico Um painel Uma decisão: manter, mudar ou parar
Modo de falha Os números sobem e ninguém sabe por quê Um teste que não pode falhar

Um painel mostra o que aconteceu. Um experimento de validated learning testa se você entendeu por quê. Se você não consegue dizer de antemão qual resultado mudaria seus planos, está apenas relatando, não aprendendo.

O ciclo construir-medir-aprender

O validated learning é produzido por um ciclo. O site do Lean Startup descreve a atividade fundamental de uma startup como transformar ideias em produtos, medir como os clientes respondem e depois aprender se deve fazer um pivot ou perseverar. Nosso artigo sobre o método Lean Startup cobre o método completo. Aqui vai a parte que importa para este tema.

O ciclo construir-medir-aprender: comece com uma crença arriscada, construa o menor teste, observe o comportamento dos clientes e depois decida se deve perseverar ou fazer um pivot.

  1. Ideia. Formule uma crença que importe, como "pequenos escritórios de contabilidade pagarão para automatizar a coleta de documentos dos clientes".
  2. Construir. Faça a menor coisa capaz de testá-la. Pode ser um protótipo funcional, mas também uma landing page, um serviço concierge que você opera à mão ou um esboço que você apresenta a um cliente. Um produto mínimo viável tem o tamanho definido pela pergunta, não por uma lista de funcionalidades.
  3. Medir. Observe o que os clientes reais fazem. O que eles fazem é uma evidência mais forte do que o que eles dizem.
  4. Aprender. Compare o resultado com a previsão. Decida se continua como planejado ou muda alguma coisa.

A armadilha é tratar o "construir" como o objetivo. O ciclo só produz validated learning se o "medir" e o "aprender" receberem tanta atenção quanto o "construir". As equipes que os pulam estão lançando, e lançar não é aprender.

Também ajuda planejar o ciclo de trás para frente. Decida o que você precisa aprender, depois qual medição mostraria isso e então construa só o que essa medição exige. Essa ordem é a razão de o teste da suposição mais arriscada ser um complemento tão útil: ele escolhe a crença a testar primeiro.

Métricas de vaidade versus métricas acionáveis

O validated learning depende de métricas que você consiga ler com honestidade. O post de Ries sobre por que as métricas de vaidade são perigosas defende essa tese. O exemplo favorito dele de métrica de vaidade é "hits". Ele diz que ela viola a regra de que "métricas também são pessoas": conta um processo técnico, não um número de seres humanos.

Métricas de vaidade vs acionáveis: os totais acumulados lisonjeiam. A retenção por coorte e as taxas de conversão revelam se uma mudança alterou o comportamento do cliente.

A segunda objeção dele é sobre causalidade. Se você tem um milhão de hits neste mês, o que os causou e como gerar mais? Um único número grande não responde a nenhuma das duas perguntas. As métricas acionáveis são a alternativa, construídas a partir de submétricas que respondem a essas perguntas.

A tabela abaixo é um enquadramento nosso da ideia, não uma citação de Ries.

Métrica de vaidade Alternativa acionável
Total de cadastros até hoje Parcela dos cadastros desta semana que concluiu a ação-chave em até 7 dias
Visualizações de página Conversão de visita em teste, segmentada por origem de tráfego
Total de downloads Clientes ainda ativos 30 dias após o cadastro, por mês de cadastro
Receita deste mês Receita dos clientes adquiridos neste mês, em relação ao custo de adquiri-los
Total de entrevistas feitas Parcela dos entrevistados que descreveu o problema espontaneamente

O padrão da coluna da direita é coortes e taxas. Agrupe os clientes por quando começaram e depois compare os grupos. Se um novo fluxo de onboarding funciona, a coorte que o viu deve se comportar de modo diferente da coorte anterior. É dessa comparação que vem a evidência causal. Um total acumulado não consegue dar isso.

Innovation accounting

A contabilidade comum mede um negócio que já existe. Um novo empreendimento não tem uma base estável para comparação. O site do Lean Startup apresenta o innovation accounting como resposta a isso: para melhorar os resultados do empreendedorismo e responsabilizar os empreendedores, é preciso se concentrar em como medir o progresso, como definir marcos e como priorizar o trabalho.

Na prática, as equipes costumam estruturar isso em três passos. Esta é uma forma comum de aplicar a ideia, não uma especificação oficial:

  1. Defina uma linha de base. Rode uma versão mínima do produto ou da oferta e registre os números reais, por piores que sejam. Esse é o ponto de partida.
  2. Ajuste rumo a uma meta. Rode experimentos que tentem mover uma métrica da linha de base em direção ao modelo de que o negócio precisa para funcionar.
  3. Decida. Se a métrica se move, persevere. Se experimentos repetidos a deixam estagnada, o modelo talvez precise mudar, que é a pergunta por trás de um pivot.

É por isso que validated learning não é o mesmo que "ser orientado por dados". O objetivo não é ter mais dados. É ter uma lista curta de números que mostrem se o modelo de negócio está chegando mais perto de funcionar.

Como desenhar um experimento de validated learning

Um experimento utilizável cabe em poucas linhas. Escreva-o antes de começar.

Desenhe um experimento de validated learning: escreva a hipótese, o teste com o cliente, a métrica, o limite e a regra de decisão antes de ver o resultado.

  1. Hipótese. Uma crença, formulada de modo que possa estar errada. "As pessoas deste segmento têm esse problema com frequência suficiente para pagar por uma solução" é testável. "Nosso produto é útil" não é.
  2. Teste. A menor ação que produza comportamento real de potenciais clientes reais: entrevistas que terminam com um pedido, uma landing page com uma oferta clara, um serviço manual, um piloto pago.
  3. Métrica. Um número que você lerá da mesma forma, não importa quem esteja olhando. Prefira uma taxa a um total.
  4. Limite. Qual resultado significa seguir, qual significa parar e qual significa "inconclusivo, redesenhar". Defina isso antes de ver os dados.
  5. Prazo e amostra. Por quanto tempo você vai rodar o teste e quantas pessoas precisa alcançar antes de julgar.
  6. Regra de decisão. O que você fará em cada resultado. Se todos os resultados levam ao mesmo próximo passo, o experimento não está informando nada.

Eis um exemplo hipotético, com números inventados para mostrar o formato. Uma equipe acredita que escritórios de contabilidade com menos de 20 funcionários pagarão para automatizar a coleta de documentos dos clientes.

Campo Preenchimento
Hipótese Pequenos escritórios de contabilidade perdem tempo suficiente correndo atrás de documentos de clientes para se comprometerem com um piloto pago
Teste 25 conversas com donos de escritórios, cada uma terminando com a oferta de um piloto pago
Métrica Número de pessoas que aceitam a oferta do piloto
Limite 6 ou mais de 25 significa seguir. Menos de 3 significa parar ou mudar de segmento. Entre esses valores, redesenhar e rodar de novo
Prazo Três semanas
Regra de decisão Seguir: construir só o que o piloto exige. Parar: testar outro segmento ou outro problema

Repare que o teste não envolve construir software. O aprendizado vem de pedir um compromisso, não de um protótipo. Para saber como conduzir as próprias conversas, veja customer discovery (descoberta de clientes).

Evidências de que a abordagem científica ajuda

É razoável perguntar se testar crenças desse jeito realmente muda os resultados. Um dos poucos estudos controlados sobre o assunto é o artigo de Camuffo, Cordova, Gambardella e Spina na Management Science, "A Scientific Approach to Entrepreneurial Decision Making: Evidence from a Randomized Control Trial".

Os autores conduziram um ensaio controlado randomizado com 116 startups italianas, coletando 16 pontos de dados ao longo de cerca de um ano. Tanto o grupo de tratamento quanto o grupo de controle receberam 10 sessões de treinamento geral sobre como obter feedback do mercado e avaliar a viabilidade da ideia. As startups tratadas também aprenderam a construir frameworks para prever o desempenho da ideia e a testar rigorosamente suas hipóteses, de modo semelhante ao dos cientistas. O grupo de controle seguiu a própria intuição.

Os autores relatam que os empreendedores que se comportaram como cientistas tiveram desempenho melhor, foram mais propensos a fazer pivot para uma ideia diferente e não foram mais propensos a desistir nos estágios iniciais. Eles descrevem o mecanismo como uma melhora de precisão: a abordagem científica reduz a chance de se perseguir projetos com retornos falsos positivos e aumenta a chance de se perseguir projetos com retornos falsos negativos.

Trate isso como um estudo de uma amostra, não como garantia. Mas o resultado sobre o pivot é o mais interessante. Os fundadores tratados não foram mais cautelosos nem mais teimosos. Mudaram de direção com mais frequência, porque tinham evidências para agir.

Armadilhas comuns

  1. Testar opiniões. "Você usaria isto?" não custa nada a quem responde. Procure comportamento: um cadastro, um depósito, um documento compartilhado, um piloto.
  2. Definir o limite depois que os dados chegam. Qualquer resultado pode ser apresentado como vitória depois do fato. Escreva a linha de aprovação primeiro.
  3. Medir totais. Um número que só sobe não diz se algo que você fez importou. Use coortes e taxas.
  4. Testar o que é confortável. As equipes gostam de testar o que conseguem construir rápido. Teste a crença que, se estiver errada, acabaria com a ideia.
  5. Agrupar crenças. Se um teste cobre preço, necessidade e usabilidade de uma vez e falha, você não saberá qual delas quebrou.
  6. Perguntar a amigos e familiares. Eles são educados. Recrute no segmento que você realmente pretende atender.
  7. Confundir atividade com aprendizado. Uma versão lançada, um lançamento ou uma menção na imprensa não é aprendizado, a menos que tenha mudado o que você acredita.
  8. Chamar um teste inconclusivo de aprovado. Se a amostra era pequena demais ou as pessoas erradas participaram, diga isso e rode de novo.
  9. Aprender sem agir. Uma lição validada que não muda nada foi um relatório de status caro.

Como o validated learning se conecta a outras ideias de startups

  • MVP. O produto mínimo viável é a ferramenta para obter uma lição. O teste de um bom MVP é se ele produz uma resposta em nível de decisão rapidamente.
  • Teste da suposição mais arriscada. Escolhe qual crença testar a seguir. O validated learning é o hábito mais amplo de exigir evidências para toda crença que importa.
  • Pivot. A decisão que vem quando experimentos repetidos mostram que o modelo atual não está avançando. Steve Blank descreve uma startup como uma organização formada para buscar um modelo de negócio repetível e escalável e observa que a maioria das startups muda de modelo várias vezes antes de encontrar um.
  • Problem-solution fit. O estágio em que as lições se somam como evidência de que existe um problema real e de que sua solução o resolve. Veja problem-solution fit.
  • Tração. Com o tempo, as lições aparecem como sinais de demanda nos números. Nosso artigo sobre o que é tração mostra como reconhecê-la.
  • Pesquisas de product-market fit. O teste de Sean Ellis é uma forma estruturada de transformar a percepção dos clientes em um número que você pode acompanhar.

Validated learning não é uma etapa que se conclui. Uma empresa com produto e receita crescente ainda tem crenças não testadas, sobre novos segmentos, preços e canais. O ciclo apenas passa para outra pergunta.

Checklist rápido

Antes do seu próximo experimento, confira se você consegue responder a estas perguntas:

  • Qual crença específica estamos testando, e o que acontece se ela for falsa?
  • Que comportamento real de potenciais clientes reais contaria como evidência?
  • A métrica é uma taxa ou um valor de coorte, e não um total acumulado?
  • Qual é a linha de aprovado, reprovado e inconclusivo, escrita antes de começarmos?
  • O que faremos de diferente em cada resultado?
  • Quem precisa ver o resultado para que ele mude uma decisão?

Leitura relacionada

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.