Métricas de BA: Tempo até o Insight, Impacto nas Decisões, NPS das Partes Interessadas

A maioria dos BAs não consegue responder "o que o seu trabalho mudou no último trimestre?" sem gestos vagos. Eles recorrem à contagem de tickets. Quarenta e sete painéis entregues. Mil e duzentas queries rodadas. Os números soam como trabalho, mas ninguém na sala acha que são respostas, incluindo o próprio BA que os enuncia. O head de analytics está concordando educadamente. O VP de dados está verificando o Slack. Você sente o assento encolher.

Essa é a parte do trabalho de Analista de Negócios que ninguém te treina. Você passa três anos aprendendo SQL, design de painéis, entrevistas com partes interessadas e zero horas sobre como medir o seu próprio trabalho. Então vem uma recessão, o CFO pergunta ao VP de dados quais funções são essenciais, e "estamos ocupados" vira "estamos cortados."

Abaixo está o sistema de medição que eu entregaria a um BA IC reportando para um head de analytics ou VP de dados na semana antes do próximo QBR. Cinco métricas, faixas-alvo reais e os diagnósticos que transformam um slide defensivo em um ofensivo. Nenhuma delas é de vaidade. Todas são obteníveis na próxima semana.

Por Que a Maioria dos BAs Não Mede o Próprio Trabalho

Três razões reais, em ordem de frequência com que as ouço.

A equipe é o instrumento. O output de um BA é julgamento aplicado a dados. Medi-lo parece recursivo, como perguntar a um termômetro o quanto ele está quente. Então ninguém faz, e o termômetro é silenciosamente removido da parede.

A liderança nunca pediu. Finanças é medida porque o CFO mede finanças. Vendas é medida porque o plano de compensação faz isso de graça. Analytics é medida por quem aparecer com um sistema de medição, e historicamente esse alguém não existiu. O estado padrão é nenhuma métrica, que também é o caminho padrão para "a gente não sabe bem o que eles fazem."

Toda métrica parece passível de manipulação. Tempo até o insight? Vou apenas recuar o timestamp de início. Uso de painéis? Vou enviar o link em três canais do Slack. NPS? Vou pesquisar apenas as pessoas que gostam de mim. Tudo verdade. Tudo também verdade para cada métrica em todas as outras funções. Representantes de vendas manipulam previsões. Profissionais de marketing escolhem a dedo atribuições. A resposta não é "sem métricas", é "métricas + uma cultura que não recompensa a manipulação."

A saída por baixo das três é "estamos ocupados" como o KPI de fato. Ocupado é o que morre primeiro em uma revisão de orçamento. Ocupado é a métrica de equipes que não têm nenhuma.

As Cinco Métricas

Escolha estas porque elas triangulam. Velocidade (tempo até o insight), qualidade (impacto nas decisões), alcance (uso de painéis), relacionamento (NPS das partes interessadas) e saúde operacional (idade da lista de pendências). Retire qualquer uma delas e alguém pode argumentar que você está otimizando para a coisa errada. Juntas, são difíceis de manipular sem que a manipulação seja óbvia.

1. Tempo até o Insight

Tempo decorrido mediano desde a abertura de uma solicitação até a resposta estar nas mãos da parte interessada. Não "entregue para staging." Não "PR mesclado." Nas mãos dela, com a confirmação de leitura, a mensagem no Slack ou o link do painel clicado.

Faixa-alvo. Mediana abaixo de 4 dias úteis para solicitações padrão. Mediana abaixo de 1 dia útil para solicitações executivas de nível 1 (CEO, CFO, head de produto). Se sua mediana é 9 dias, suas partes interessadas já contornaram você e recorreram a algum profissional de operações que faz planilhas mais rápido.

Como instrumentar. Dois timestamps no Jira ou no Linear: ticket criado, ticket marcado como "entregue à parte interessada." Só isso. Não tente medir "ticket fechado" porque tickets fecham numa limpeza de terça-feira, não quando o trabalho chegou. Se você não tem nenhum sistema de solicitações, essa é a métrica zero. Vá configurar um antes de continuar lendo.

Modo de falha. Representantes e gestores começarão a "entregar" tickets que não estão realmente prontos para que o timestamp pareça bom. Contra-movimento: vincule essa métrica ao NPS das partes interessadas, porque uma entrega falsa aparece nos comentários do NPS dentro de um trimestre.

2. Impacto nas Decisões

Porcentagem de análises entregues para as quais uma parte interessada consegue nomear uma decisão, 30 dias depois. Esta é a métrica da qual a maioria dos BAs se esquiva, porque é a que expõe o quanto do trabalho foi teatro.

Faixa-alvo. 60% ou mais. Na primeira vez que você rodar, chegará perto de 25-40%. Isso é normal. Também é o número mais importante do slide, porque a lacuna entre o que você entrega e o que é usado é onde seu espaço vive.

Como instrumentar. Trimestralmente, pegue uma amostra de 20-30 análises entregues nos últimos 90 dias. Para cada uma, contate a parte interessada com uma auditoria de 3 perguntas:

1. Você se lembra desta análise? (sim / não)
2. Se sim, ela mudou algo que você fez, eliminou uma opção que você estava considerando ou confirmou uma aposta que você queria fazer? (mudou / eliminou / confirmou / nenhum)
3. Se "nenhum", foi útil de alguma forma, ou ruído? (útil / ruído)

Pontuação: conte "mudou", "eliminou" e "confirmou" como vitórias de impacto nas decisões. "Útil" é uma vitória suave. "Nenhum / ruído" e "não lembro" são derrotas. Divida vitórias pelo total para obter a porcentagem.

Modo de falha. Você vai auditar apenas suas partes interessadas favoritas. Contra-movimento: a lista de auditoria vem do sistema de solicitações, não do seu instinto. Amostra aleatória, mesmo que doa.

3. Uso de Painéis

Visualizadores ativos semanais divididos pelo total de visualizadores provisionados, por painel. Provisionado significa "pessoas a quem você deu o link" ou "pessoas no grupo autorizado." Ativo significa "carregou o painel pelo menos uma vez nos últimos 7 dias."

Faixa-alvo. 40% ou mais para qualquer painel que você chamaria de "core." Abaixo de 10% por 60 dias consecutivos, o painel é arquivado. Sem exceções, incluindo o que seu VP encomendou e esqueceu.

Como instrumentar. A maioria das ferramentas de BI (Looker, Tableau, Metabase, Mode, Hex) expõe isso no painel de administração ou por meio de um log de auditoria. Se a sua não expõe, registre carregamentos de painéis em uma tabela de uso com um hit do lado do servidor. Um sábado de trabalho, no máximo.

Modo de falha. Expansão do "provisionado." Você dá acesso a 200 pessoas a um painel que 6 usam e seu denominador destrói a proporção. Contra-movimento: defina "provisionado" como o grupo autorizado no momento da criação do painel, não quem herdou acesso por meio de um grupo SSO mais tarde. E execute uma limpeza de acesso trimestral.

4. NPS das Partes Interessadas

Uma pesquisa de 1 pergunta para os 8-15 humanos que você realmente serve, realizada trimestralmente: "Com que probabilidade você recomendaria trabalhar com a equipe de analytics a um colega, em uma escala de 0-10?" Mais uma pergunta aberta de acompanhamento: "O que é a única coisa que devemos mudar?"

Faixa-alvo. +30 ou mais (NPS = % de promotores menos % de detratores, onde 9-10 é promotor, 0-6 é detrator, 7-8 é passivo). Abaixo de 0 significa que suas partes interessadas prefeririam usar planilhas. Acima de +50 significa que você é ótimo ou está pesquisando apenas seus amigos.

Como instrumentar. Google Form, Typeform, o que for. Envie na primeira segunda-feira do novo trimestre, feche na sexta. Leia cada comentário aberto você mesmo. Não delegue a leitura para seu gestor. Os comentários são os dados reais, e eles não se traduzem.

A primeira vez que rodei um NPS de partes interessadas, tirei +12 e doeu. Um PM tinha escrito "rápido mas não confio nos números." Esse comentário mudou como construí verificações de reconciliação por um ano. A pontuação foi menos útil do que a frase por baixo dela, que é a regra com NPS.

Modo de falha. Viés de amostra. Você pesquisa apenas as pessoas para quem entrega semanalmente e perde o executivo que não pediu nada em 90 dias porque desistiu de você. Contra-movimento: a amostra é "pessoas com uma solicitação aberta ou fechada nos últimos 6 meses", não "pessoas para quem entrego." Se uma parte interessada ficou em silêncio, isso é informação, e a pesquisa é como você descobre.

5. Idade da Lista de Pendências Ad Hoc

Idade mediana de solicitações ad hoc atualmente abertas, em dias úteis.

Faixa-alvo. Abaixo de 14 dias. Qualquer coisa acima de 45 dias é um sinal de morte por mil cortes. Esses tickets não estão sendo feitos, mas também não estão sendo fechados, e cada parte interessada com um ticket aberto está silenciosamente perdendo confiança na equipe.

Como instrumentar. Uma visualização no Jira ou Linear filtrando por status != fechado e tipo de conteúdo = ad hoc. Ordene por idade. Puxe a mediana semanalmente.

Modo de falha. Fechar em massa tickets antigos na véspera do snapshot da métrica. Contra-movimento: rastreie "tickets com mais de 45 dias, fechados sem entrega" como uma métrica paralela. Se ela disparar, você está limpando o armário, não o trabalho.

O Diagnóstico "Alto Uso mas Baixo Impacto nas Decisões"

Agora as métricas começam a trabalhar juntas. Um painel com 200 visualizadores ativos semanais e zero decisões nomeadas na auditoria de impacto não é um painel bem-sucedido. É papel de parede. Papel de parede bonito. Papel de parede caro. Ainda papel de parede.

O diagnóstico parece assim. Três sinais, todos necessários:

1. Uso do painel é alto (>40% semanais ativos).
2. Impacto nas decisões para análises vinculadas a esse painel é baixo (<20% da amostra de auditoria nomeia uma decisão).
3. O KPI de negócio que está rastreando está estável ou se movendo na direção errada.

Quando os três são verdadeiros, você construiu um artefato de verificação de status, não de apoio à decisão. As pessoas o consultam da mesma forma que consultam um aplicativo de clima, para se sentir informadas em vez de agir. O KPI do conselho está estável, o painel está movimentado, nada muda.

Três movimentos para corrigir, em ordem de agressividade:

• Elimine o painel, substitua por um memorando mensal. Um memorando de 1 página força a interpretação. Um painel permite que as pessoas decidam que significa o que esperavam que significasse.
• Instrumente uma pergunta de decisão no próprio painel. No topo da página: "Se esta métrica cair abaixo de X nesta semana, faremos Y." De repente o painel tem dentes, e alguém é responsável pelo Y.
• Mova-o de um painel para um alerta no Slack. Painéis estáticos são pull. Alertas são push. Push só dispara quando algo precisa de uma decisão, que é o único momento em que olhar para os dados importa.

O diagnóstico também roda em sentido inverso. Baixo uso + alto impacto nas decisões = um painel que um ou dois executivos usam para tomar decisões reais. Não elimine esse. Mesmo que a proporção de uso seja de 4%, essas 4 pessoas são toda a razão pela qual o painel existe.

O Padrão de Slide do QBR

Um slide. Cinco números, último trimestre versus este trimestre, mais três decisões nomeadas que analytics moveu. Sem gráficos de vaidade. Sem Sankeys. Sem diagramas de "jornada de maturidade de dados." O público executivo tem 90 segundos de atenção para sua função e você vai gastar 60 deles num gráfico de como as queries SQL cresceram, do qual não se recupera.

Aqui está o formato que uso. Título no topo: "Analytics T[N]: Resultados."

Abaixo da tabela, três bullets. Título: "Decisões que analytics moveu neste trimestre."

• "Eliminou a aposta de expansão na Europa (14 abr). Análise de nível de preço mostrou TAM abaixo de R$10M no nosso ICP atual."
• "Reorientou o modelo de territórios dos SDRs (3 mar). Análise de cobertura revelou 31% de capacidade desperdiçada em SP/RJ."
• "Aprovou a construção de autoatendimento no suporte (22 mar). Simulação de desvio de tickets projetou economia de 18%, payback de 8 meses."

Data, a decisão, a análise. Esse é o slide. O slide inteiro. O CFO consegue lê-lo em 20 segundos, o VP de dados tem uma defesa que pode citar para a liderança, e a equipe de BA tem uma barra que vai alcançar no próximo trimestre ou terá uma conversa difícil sobre o motivo.

O que não está no slide: contagem de painéis, volume de queries, "linhas de SQL escritas," tickets fechados, reações no #data-help do Slack, horas de treinamento entregues, modelos dbt adicionados, redesenhos de schema enviados. Cada um desses é uma métrica de vaidade.

Armadilhas de Métricas de Vaidade

Cada uma dessas é apresentada como métrica em algum lugar. Cada uma recompensa o comportamento errado.

Contagem de painéis. Correlaciona-se com expansão desordenada, não com valor. Uma equipe que entrega 80 painéis por ano quase sempre tem um problema de uso em 60 deles. Se a métrica sobe, o trabalho piora.

Volume de queries. Correlaciona-se com ineficiência. Um BA rodando 1.200 queries neste mês é ruim em SQL ou não materializou um modelo que deveria ter sido materializado. Volume alto significa custo alto, não insight alto.

Linhas de SQL. Correlação inversa com habilidade. O BA sênior escreve queries de 40 linhas que o júnior escreve em 400 linhas. Recompensar contagem de linhas é recompensar o júnior.

Tickets fechados. Dois modos de falha. Um, você fecha tickets antigos para inflar o número. Dois, você favorece tickets fáceis porque fecham mais rápido, o que significa que as solicitações difíceis apodrecem na lista de pendências.

Reações no Slack em #data-help. Viés de seleção ao extremo. Você só recebe reações nas respostas que as pessoas já estão animadas, o que enviesou sua amostra para trabalho popular, que é o oposto de impacto.

O padrão entre as cinco: cada uma mede atividade. Nenhuma mede resultado. As cinco métricas reais medem resultado, por isso são mais difíceis, mais lentas e as únicas que sobrevivem a uma revisão de orçamento.

O Que Fazer Neste Mês

Não implemente as cinco de uma vez. Você vai manipulá-las, suas partes interessadas vão desconfiar do rollout e o slide do QBR não terá dados de tendência suficientes para significar algo.

Em vez disso, escolha duas:

1. Tempo até o insight. Mais barata de instrumentar (dois timestamps), maior sinal nos primeiros 30 dias, mais difícil de contestar.
2. NPS das partes interessadas. Um e-mail, 8-15 humanos, comentários qualitativos que mudam como você trabalha por um ano. A dor do +12 vale mais do que 18 meses de contagens de painéis.

Rode essas duas por um trimestre. No final desse trimestre, adicione impacto nas decisões (a auditoria leva cerca de 3 horas de tempo das partes interessadas, planeje para isso). No trimestre seguinte, adicione uso de painéis. No subsequente, idade da lista de pendências ad hoc. Ao final de dois trimestres você terá um sistema de medição funcionando, três slides de QBR com dados de tendência e uma resposta defensável para "o que o seu trabalho mudou."

O fio condutor é este. Se você não escolher a métrica, outra pessoa escolherá, e ela vai escolher "headcount dividido por orçamento" porque já usa essa métrica para todo o resto. O analista de negócios que mede o próprio trabalho primeiro é o que ainda está no assento na próxima recessão. Todo mundo está ocupado.

Saiba Mais

• O Mapa de Partes Interessadas do BA: Quem Realmente Decide
• Eliminando Painéis Zumbi Sem Política
• Escrevendo o Memorando do Analista Que Executivos Leem
• Como o BA Diz Não Sem Queimar Pontes