Métricas del BA: tiempo hasta el insight, impacto en la decisión, NPS de partes interesadas

La mayoría de los BAs no pueden responder "¿qué cambió su trabajo el trimestre pasado?" sin hacer gestos vagos con las manos. Recurren al conteo de tickets. Cuarenta y siete paneles de control entregados. Mil doscientas consultas ejecutadas. Los números suenan a trabajo, pero nadie en la sala cree que sean respuestas, incluido el BA que los dice. El jefe de analítica asiente cortésmente. El VP de datos está revisando Slack. Se puede sentir cómo el asiento se achica.

Esta es la parte del puesto de Business Analyst que nadie le enseña. Pasa tres años aprendiendo SQL, diseño de paneles de control, entrevistas con partes interesadas y cero horas en cómo medir su propio trabajo. Luego llega una recesión, el CFO le pregunta al VP de datos qué roles son esenciales, y "estamos ocupados" se convierte en "somos los recortados".

A continuación se presenta el sistema de medición que le daría a un BA IC que reporta a un jefe de analítica o VP de datos, la semana antes de su próximo QBR. Cinco métricas, rangos objetivo reales y los diagnósticos que convierten una diapositiva defensiva en una ofensiva. Ninguna de estas es una métrica de vanidad. Todas son obtenibles la próxima semana.

Por qué la mayoría de los BAs no miden su propio trabajo

Tres razones reales, en orden de frecuencia con que las escucho.

El equipo es el instrumento. El resultado de un BA es el juicio aplicado a los datos. Medirlo se siente recursivo, como preguntarle a un termómetro qué tan caliente está. Así que nadie lo hace, y el termómetro se retira silenciosamente de la pared.

El liderazgo nunca lo pidió. Finanzas se mide porque el CFO mide las finanzas. Ventas se mide porque el plan de compensación lo hace gratis. Analítica se mide por quien llega con un sistema de medición, y históricamente eso no ha sido nadie. El estado predeterminado es ninguna métrica, que también es el camino predeterminado a "realmente no sabemos qué hacen".

Toda métrica parece manipulable. ¿Tiempo hasta el insight? Simplemente moveré la marca de tiempo de inicio hacia atrás. ¿Uso del panel de control? Enviaré el enlace en tres canales de Slack. ¿NPS? Solo encuestaré a las personas que me aprecian. Todo verdad. También todo verdad para cada métrica en cualquier otra función. Los representantes de ventas minimizan las previsiones. Los especialistas de marketing eligen la atribución más conveniente. La respuesta no es "ninguna métrica", es "métricas más una cultura que no premia la manipulación".

La evasión detrás de los tres es "estamos ocupados" como KPI de facto. El "estar ocupado" es lo primero que muere en una revisión de presupuesto. Es la métrica de los equipos que no tienen ninguna.

Las cinco métricas

Estas se eligen porque se triangulan entre sí. Velocidad (tiempo hasta el insight), calidad (impacto en la decisión), alcance (uso del panel de control), relación (NPS de partes interesadas) y salud operativa (antigüedad del backlog). Elimine cualquiera de ellas y alguien puede argumentar que está optimizando para lo incorrecto. Juntas son difíciles de manipular sin que se note obviamente.

1. Tiempo hasta el insight

Tiempo transcurrido medio desde que se abre una solicitud hasta que la respuesta está en manos de la parte interesada. No "entregado a staging". No "PR fusionado". En sus manos, con el acuse de recibo, el mensaje de Slack o el enlace del panel de control clickeado.

Rango objetivo. Mediana inferior a 4 días hábiles para solicitudes estándar. Mediana inferior a 1 día hábil para solicitudes de nivel 1 de ejecutivos (CEO, CFO, jefe de producto). Si su mediana es de 9 días, sus partes interesadas ya han encontrado la vuelta por la persona de operaciones que hace hojas de cálculo más rápido.

Cómo instrumentar. Dos marcas de tiempo en Jira o Linear: ticket creado, ticket marcado como "entregado a la parte interesada". Eso es todo. No intente medir "ticket cerrado" porque los tickets se cierran en la limpieza del martes, no cuando el trabajo aterrizó. Si no tiene un sistema de solicitudes en absoluto, esa es la métrica cero. Vaya a configurar uno antes de seguir leyendo.

Modo de fallo. Los representantes y managers empezarán a "entregar" tickets que en realidad no están terminados para que la marca de tiempo se vea bien. Contramedida: vincule esta métrica al NPS de partes interesadas, porque una entrega falsa aparece en los comentarios del NPS dentro de un trimestre.

2. Impacto en la decisión

Porcentaje de análisis entregados para los que una parte interesada puede nombrar una decisión, 30 días después. Esta es la métrica ante la que más BAs se encogen, porque es la que expone cuánto del trabajo fue teatro.

Rango objetivo. 60% o mejor. La primera vez que lo ejecute, llegará alrededor del 25-40%. Eso es normal. También es el número más importante de la diapositiva, porque la brecha entre lo que entrega y lo que se usa es donde vive su asiento.

Cómo instrumentar. Trimestralmente, tome una muestra de 20-30 análisis entregados de los últimos 90 días. Para cada uno, envíe un mensaje a la parte interesada con una auditoría de 3 preguntas:

1. ¿Recuerda este análisis? (sí / no)
2. Si es así, ¿cambió algo que usted hizo, descartó una opción que estaba considerando o confirmó una apuesta que quería hacer? (cambió / descartó / confirmó / ninguna)
3. Si "ninguna", ¿fue útil de todas formas, o fue ruido? (útil / ruido)

Puntuación: cuente "cambió", "descartó" y "confirmó" como victorias de impacto en la decisión. "Útil" es una victoria parcial. "Ninguna / ruido" y "no recuerdo" son pérdidas. Divida las victorias por el total para obtener el porcentaje.

Modo de fallo. Solo auditará a sus partes interesadas favoritas. Contramedida: la lista de auditoría proviene del sistema de solicitudes, no de su intuición. Muestra aleatoria, aunque duela.

3. Uso del panel de control

Espectadores activos semanales divididos por el total de espectadores habilitados, por panel de control. Habilitados significa "personas a quienes dio el enlace" o "personas en el grupo con permisos". Activos significa "cargaron el panel al menos una vez en los últimos 7 días".

Rango objetivo. 40% o mejor para cualquier panel que llamaría "core". Por debajo del 10% durante 60 días consecutivos, el panel se archiva. Sin excepciones, incluido el que su VP encargó y olvidó.

Cómo instrumentar. La mayoría de las herramientas de BI (Looker, Tableau, Metabase, Mode, Hex) exponen esto en su panel de administración o mediante un registro de auditoría. Si la suya no lo hace, registre las cargas del panel en una tabla de uso usted mismo con un hit del lado del servidor. Un sábado por la tarde de trabajo, como máximo.

Modo de fallo. Dispersión de "habilitados". Da acceso a 200 personas a un panel que usan 6 y su denominador destruye la proporción. Contramedida: defina "habilitados" como el grupo con permisos en el momento de creación del panel, no quien heredó acceso a través de un grupo de SSO más tarde. Y ejecute una limpieza trimestral de accesos.

4. NPS de partes interesadas

Una encuesta de 1 pregunta para los 8-15 humanos a quienes realmente sirve, ejecutada trimestralmente: "¿Qué tan probable es que recomiende trabajar con el equipo de analítica a un colega, en una escala del 0 al 10?" Más una pregunta abierta de seguimiento: "¿Qué es lo único que deberíamos cambiar?"

Rango objetivo. +30 o mejor (NPS = % de promotores menos % de detractores, donde 9-10 es promotor, 0-6 es detractor, 7-8 es pasivo). Por debajo de 0 significa que sus partes interesadas prefieren usar hojas de cálculo. Por encima de +50 significa que es excelente o que solo encuesta a sus amigos.

Cómo instrumentar. Google Form, Typeform, lo que sea. Envíelo el primer lunes del nuevo trimestre, ciérrelo el viernes. Lea usted mismo cada comentario abierto. No delegue la lectura a su manager. Los comentarios son los datos reales, y no se traducen bien.

La primera vez que ejecuté un NPS de partes interesadas obtuve un +12 y me dolió. Un PM había escrito "rápido pero no confío en los números". Ese comentario cambió cómo construí las comprobaciones de reconciliación durante un año. La puntuación fue menos útil que la oración debajo de ella, que es la regla con el NPS.

Modo de fallo. Sesgo de muestra. Solo encuesta a personas a quienes entrega semanalmente y se pierde al ejecutivo que no ha pedido nada en 90 días porque se rindió con usted. Contramedida: la muestra es "personas que tienen una solicitud abierta o cerrada en los últimos 6 meses", no "personas a quienes entrego". Si una parte interesada ha guardado silencio, eso es información, y la encuesta es cómo lo descubre.

5. Antigüedad del backlog de solicitudes ad hoc

Edad media de las solicitudes ad hoc actualmente abiertas, en días hábiles.

Rango objetivo. Menos de 14 días. Cualquier cosa por encima de 45 días es una señal de muerte por mil cortes. Esos tickets no se van a completar, pero tampoco se van a cerrar, y cada parte interesada que tiene uno ahí está perdiendo confianza silenciosamente en el equipo.

Cómo instrumentar. Una vista en Jira o Linear filtrada por estado != cerrado y tipo de contenido = ad hoc. Ordenar por antigüedad. Extraer la mediana semanalmente.

Modo de fallo. Cierre masivo de tickets obsoletos el día antes del snapshot de la métrica. Contramedida: rastree "tickets con más de 45 días de antigüedad, cerrados sin entrega" como una métrica secundaria. Si se dispara, está limpiando el armario, no el trabajo.

El diagnóstico de "alto uso pero bajo impacto en la decisión"

Aquí es donde las métricas empiezan a trabajar juntas. Un panel de control con 200 espectadores activos semanales y cero decisiones nombradas en la auditoría de impacto no es un panel exitoso. Es papel tapiz. Papel tapiz bonito. Papel tapiz caro. Sigue siendo papel tapiz.

El diagnóstico es el siguiente. Tres señales, todas requeridas:

1. El uso del panel es alto (más del 40% activo semanal).
2. El impacto en la decisión para los análisis vinculados a ese panel es bajo (menos del 20% de la muestra de auditoría nombra una decisión).
3. El KPI del negocio que rastrea está plano o moviéndose en la dirección incorrecta.

Cuando las tres son verdaderas, ha construido un artefacto de verificación de estado, no un artefacto de apoyo a la decisión. Las personas lo miran como miran una aplicación meteorológica, para sentirse informadas en lugar de actuar. El KPI del negocio está plano, el panel está activo, nada cambia.

Tres acciones para corregirlo, en orden de cuán agresivo quiere ser:

• Elimine el panel, reemplácelo con un memo mensual. Un memo de una página fuerza la interpretación. Un panel permite que las personas decidan que significa lo que esperaban que significara.
• Instrumente una pregunta de decisión en el propio panel. En la parte superior de la página: "Si esta métrica cae por debajo de X esta semana, haremos Y." De repente el panel tiene peso, y alguien es responsable de Y.
• Muévalo de un panel a una alerta de Slack. Los paneles estáticos son pull. Las alertas son push. Las alertas se activan solo cuando algo necesita una decisión, que es el único momento en que mirar los datos importa.

El diagnóstico también funciona en sentido inverso. Bajo uso + alto impacto en la decisión = un panel que uno o dos ejecutivos usan para tomar decisiones reales. No elimine ese. Aunque la proporción de uso sea del 4%, esas 4 personas son la razón completa por la que existe el panel.

El patrón de diapositiva para el QBR

Una diapositiva. Cinco números, último trimestre vs. este trimestre, más tres decisiones nombradas que analítica impulsó. Sin gráficos de vanidad. Sin Sankeys. Sin diagramas de "viaje de madurez de datos". El público ejecutivo tiene 90 segundos de atención para su función y va a gastar 60 de ellos en un gráfico de cómo crecieron las consultas SQL, lo cual es irrecuperable.

Este es el formato que uso. Título en la parte superior: "Resultados de Analítica Q[N]".

Debajo de la tabla, tres puntos. Encabezado: "Decisiones que analítica impulsó este trimestre."

• "Descartó la apuesta de expansión en la UE (14 abr). El análisis de nivel de precios mostró un TAM inferior a 2M EUR con nuestro ICP actual."
• "Redirigió el modelo de territorio SDR (3 mar). El análisis de cobertura reveló un 31% de capacidad desperdiciada en TX/CA."
• "Aprobó la construcción de autoservicio de soporte (22 mar). La simulación de desvío de tickets proyectó un ahorro del 18%, recuperación en 8 meses."

Fecha, la decisión, el análisis. Esa es la diapositiva. La diapositiva completa. El CFO puede leerla en 20 segundos, el VP de datos tiene una defensa que puede citar hacia arriba, y el equipo de BA tiene un listón que va a superar el próximo trimestre o tendrá una conversación difícil sobre por qué no.

Lo que no está en la diapositiva: conteo de paneles, volumen de consultas, "líneas de SQL escritas", tickets cerrados, reacciones de Slack en #data-help, horas de capacitación impartidas, modelos de dbt añadidos, rediseños de esquema entregados. Cada uno de estos es una métrica de vanidad.

Trampas de las métricas de vanidad

Cada una de estas se propone como métrica en algún lugar. Cada una premia el comportamiento incorrecto.

Conteo de paneles. Se correlaciona con la dispersión, no con el valor. Un equipo que entrega 80 paneles al año casi siempre tiene un problema de uso en 60 de ellos. Si la métrica sube, el trabajo baja.

Volumen de consultas. Se correlaciona con la ineficiencia. Un BA que ejecuta 1.200 consultas este mes tiene mal SQL o no materializó un modelo que debería haberse materializado. Volumen arriba significa costo arriba, no insight arriba.

Líneas de SQL. Correlación inversa con la habilidad. El BA senior escribe consultas de 40 líneas que el junior escribe como 400 líneas. Premiar el conteo de líneas es premiar al junior.

Tickets cerrados. Dos modos de fallo. Uno, se cierran tickets obsoletos para inflar el número. Dos, se sesga hacia tickets fáciles porque se cierran más rápido, lo que significa que las solicitudes difíciles se pudren en el backlog.

Reacciones de Slack en #data-help. Sesgo de selección al extremo. Solo se obtienen reacciones en las respuestas que las personas ya están emocionadas, lo que sesga la muestra hacia el trabajo popular, que es lo contrario del impacto.

El patrón en los cinco: cada uno mide actividad. Ninguno mide resultado. Las cinco métricas reales miden resultado, por eso son más difíciles, más lentas y las únicas que sobreviven una revisión de presupuesto.

Qué hacer este mes

No implemente las cinco a la vez. Las manipulará, sus partes interesadas desconfiarán del lanzamiento, y la diapositiva del QBR no tendrá suficientes trimestres de datos de tendencia para significar algo.

En su lugar, elija dos:

1. Tiempo hasta el insight. La más barata de instrumentar (dos marcas de tiempo), la señal más alta en los primeros 30 días, la más difícil de cuestionar.
2. NPS de partes interesadas. Un correo electrónico, 8-15 personas, comentarios cualitativos que cambian cómo trabaja durante un año. El dolor del +12 vale más que 18 meses de conteos de paneles.

Ejecute esas dos durante un trimestre. Al final de ese trimestre, añada el impacto en la decisión (la auditoría requiere aproximadamente 3 horas del tiempo de las partes interesadas, planifíquelo). El siguiente trimestre, añada el uso del panel de control. El siguiente, la antigüedad del backlog ad hoc. Al cabo de dos trimestres tiene un sistema de medición funcional, tres diapositivas del QBR con datos de tendencia y una respuesta defendible a "¿qué cambió su trabajo".

El hilo conductor es este. Si usted no elige la métrica, alguien más lo hará, y elegirán "headcount dividido por presupuesto" porque esa es la métrica que ya usan para todo lo demás. El Business Analyst que mide su propio trabajo primero es el que sigue en su asiento en la próxima recesión. Todos los demás están ocupados.

Aprenda más

• El mapa de partes interesadas del BA: quién realmente decide
• Cómo eliminar paneles zombie sin política
• Cómo escribir el memo de una página que los ejecutivos leen
• Cómo dice no un BA sin quemar puentes