Métricas de adopción de productos de IA

Qué es la adopción de un producto de IA, ilustrado con un indicador anclado a tareas

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

La adopción de un producto de IA es la proporción de usuarios previstos que completan una tarea real con él de forma repetida y siguen haciéndolo. No son registros, inicios de sesión ni asientos vendidos. Esas cifras son fáciles de recopilar y favorecen a casi cualquier producto de IA, porque la gente prueba las herramientas de IA por curiosidad y muchos dejan de usarlas después de una semana.

Esta página presenta un sistema de medición para fundadores: un marco para organizar las métricas, las métricas específicas que importan en IA y los puntos donde el uso y el valor se separan. Trata sobre cómo medir, no sobre cómo mejorar. Para la parte de mejora, consulte onboarding y tiempo hasta el valor y la pérdida de clientes en productos de IA.

Por qué los registros y los inicios de sesión engañan

El problema es más agudo en IA. Un producto de IA típico tiene una curva de novedad: uso intenso la primera semana y luego una caída cuando el comprador ve los límites. Un comprador también puede estar pagando asientos que nadie abre. Y un usuario puede usar el producto todos los días mientras el resultado termina en la papelera. Cada uno de estos casos se ve bien en un dashboard de inicios de sesión.

Una buena medición separa cuatro preguntas: ¿la gente empezó?, ¿vuelve?, ¿lo usa a fondo? y ¿funciona? Esas preguntas corresponden de cerca a un marco publicado, así que úselo en lugar de inventar uno.

El marco HEART

Rodden, Hutchinson y Fu, de Google, propusieron HEART en Measuring the User Experience on a Large Scale (CHI 2010). Sus siglas corresponden a Happiness, Engagement, Adoption, Retention y Task Success (satisfacción, compromiso, adopción, retención y éxito en la tarea). Los autores lo presentan como un conjunto de categorías a partir de las cuales un equipo elige métricas específicas, no como una lista fija de cifras.

Qué es el marco HEART, ilustrado con cinco instrumentos de medición

El artículo contrasta HEART con lo que llama métricas PULSE: páginas vistas, disponibilidad, latencia, usuarios activos en siete días e ingresos. Las métricas PULSE importan, dicen los autores, pero miden la salud técnica y del negocio, no la calidad de la experiencia del usuario. HEART está pensado para complementarlas.

Categoría Qué pregunta Ejemplo en un producto de IA
Happiness (satisfacción) ¿A los usuarios les gusta? Pulgar arriba o abajo en los resultados, encuesta de satisfacción
Engagement (compromiso) ¿Con qué profundidad y frecuencia lo usan? Tareas por usuario activo por semana, días activos por semana
Adoption (adopción) ¿Están empezando los usuarios nuevos? Proporción de cuentas nuevas que completan una primera tarea real
Retention (retención) ¿Siguen usándolo? Proporción de una cohorte de la semana uno que sigue activa en la semana doce
Task Success (éxito en la tarea) ¿Cumple con el trabajo? Resultado aceptado sin ediciones, tarea completada de principio a fin

El artículo también ofrece el método de trabajo: Goals, Signals, Metrics (objetivos, señales, métricas). Primero se define lo que un producto o una funcionalidad debe lograr para los usuarios, luego se nombran las señales que mostrarían que ocurrió y, por último, se construyen métricas a partir de esas señales.

Tres detalles del artículo se aplican directamente a los productos de IA.

No todas las categorías encajan en todos los productos. Los autores señalan que el compromiso puede no tener sentido en un entorno empresarial donde se espera que las personas usen el producto como parte de su trabajo. En ese caso, un equipo podría apoyarse en la satisfacción o en el éxito en la tarea. La mayoría de los productos B2B de IA están en esta situación, así que no imponga metas de uso diario a una herramienta que la gente abre cuando llega el trabajo.

Reporte el compromiso por usuario, no en total. El artículo recomienda promedios por usuario, porque un total en aumento puede deberse a más usuarios y no a más uso. Un fundador que observa el total de prompts por mes verá crecimiento cada mes mientras el producto sigue siendo superficial.

Defina «adoptado» como una tarea completada. El artículo indica que en algunos productos visitar el sitio podría contar como usarlo, mientras que en otros un visitante solo cuenta como adoptante después de completar una tarea clave. Para un producto de IA, la segunda definición casi siempre es la correcta.

Activación: cómo definir el primer uso real

La activación es el momento en que un usuario nuevo obtiene un primer resultado que habría querido conservar. Se ubica entre el registro y el hábito, y es la métrica que más vale la pena definir con cuidado, porque todo lo que viene después depende de ella.

Una definición de activación útil tiene tres partes:

  1. Una acción específica, como «ejecutó el primer flujo de trabajo con datos reales» en lugar de «creó una cuenta».
  2. Una condición de calidad, como «aceptó o exportó el resultado».
  3. Una ventana de tiempo, como «dentro de los primeros siete días».

Mida la proporción de cuentas nuevas que la alcanzan y el tiempo que tardan en llegar. Si su definición de activación se puede cumplir haciendo clic con datos de muestra, está midiendo curiosidad. Vincúlela al trabajo propio del usuario.

Profundidad y frecuencia de uso

Una vez activado el usuario, la pregunta pasa a ser cuánto y con qué frecuencia. Tres familias de métricas lo cubren.

Profundidad y frecuencia de uso de la IA, ilustradas con un telar de calendario

Frecuencia. El ejemplo de Gmail del artículo sobre HEART es un patrón útil. El equipo de Gmail quería una señal de compromiso mejor que los usuarios activos en siete días, así que midió el porcentaje de usuarios activos que visitaron el producto cinco o más días en la última semana. Los autores informan que esta métrica predecía con fuerza la retención a largo plazo. La lección para los productos de IA: elija un umbral de frecuencia que corresponda al trabajo y verifique si predice quién se queda.

Índices de permanencia. DAU/MAU (usuarios activos diarios divididos entre usuarios activos mensuales) es la abreviatura habitual. Sirve para productos que la gente usa a diario y engaña en productos que, por diseño, se usan cada semana o cada mes. Elija la ventana que corresponda al ciclo natural del trabajo, como activos semanales sobre activos mensuales.

Profundidad. Cuente lo que hacen los usuarios por sesión, no si se presentaron. Señales de profundidad útiles para productos de IA:

  • Tareas completadas por usuario activo, por semana
  • Proporción de usuarios que ejecutan más de un tipo de tarea
  • Proporción del trabajo que pasa por el producto frente al que se hace de otra manera
  • Uso de funcionalidades que requieren más configuración, como integraciones o contexto guardado

Un producto que se usa para una sola tarea limitada es fácil de reemplazar. Uno que se usa en cuatro flujos de trabajo genera costos de cambio.

Aceptación y éxito en la tarea

Aquí es donde los productos de IA necesitan métricas que el software común no necesita. Un resultado de IA no es un clic que ocurre o no ocurre. El usuario puede aceptarlo, editarlo o descartarlo, y cada elección es una señal de uso.

Aceptación y éxito en la tarea en la IA, ilustrados con una apertura que clasifica por calidad

La tasa de aceptación es el ejemplo más claro. En el estudio de GitHub Productivity Assessment of Neural Code Completion (Ziegler et al., MAPS 2022), los autores definieron la tasa de aceptación como la fracción de sugerencias mostradas que se aceptaron para incluirlas en el archivo fuente. Cruzaron las respuestas de encuesta de 2047 usuarios de la versión preliminar técnica de Copilot con datos de uso del IDE. La tasa de aceptación fue la medida de uso que mejor predijo la productividad percibida por los desarrolladores, con una correlación de 0,24, mejor que las medidas de cuánto tiempo permanecía sin cambios el código aceptado. Los autores aclaran que una varianza considerable quedó sin explicar y que la tasa de aceptación sirve para un monitoreo general, no para un diagnóstico detallado.

Léalo por lo que es: una correlación con la productividad autoinformada en un solo producto, entre usuarios de una versión preliminar. Respalda la tasa de aceptación como una señal de primera línea, no como prueba de valor. Un usuario puede aceptar una sugerencia mediocre porque editarla cuesta más esfuerzo que rechazarla.

Construya una pequeña familia de métricas a nivel de tarea en lugar de una sola:

Métrica Definición Qué le indica
Tasa de aceptación Resultados aceptados divididos entre resultados mostrados Si las sugerencias son útiles a simple vista
Distancia o tasa de edición Cuánto cambian los usuarios los resultados aceptados Si «aceptado» significa «bueno»
Tasa de finalización de tareas Tareas terminadas de principio a fin divididas entre tareas iniciadas Si el producto termina el trabajo
Tasa de reintento Regeneraciones o prompts repetidos por tarea Fricción, o resultados que no aciertan
Tasa de escalamiento o de respaldo Tareas devueltas a una persona o a otra herramienta Dónde no se puede confiar en el producto

Combine estas métricas con una evaluación periódica de calidad para que un cambio en la aceptación no se malinterprete. Consulte confianza y evaluación en IA para saber cómo construirla.

Cohortes de retención

La retención es la métrica que separa un producto de una demo. El artículo sobre HEART la define como cuántos de los usuarios de un periodo determinado siguen presentes en uno posterior, por ejemplo, el porcentaje de usuarios activos en siete días de una semana dada que siguen siendo activos en siete días tres meses después. También señala que el intervalo adecuado varía: de semana a semana para algunos productos, y mensual o de 90 días para otros.

La forma estándar de leerla es una tabla de cohortes. Agrupe a los usuarios por la semana en que empezaron y luego siga qué proporción de cada grupo sigue activa en cada semana posterior. Las filas son cohortes y las columnas son semanas desde el registro.

Qué buscar:

  • Una curva que se aplana. Si cada cohorte cae y luego se estabiliza en algún porcentaje, usted tiene un núcleo de personas para quienes el producto funciona. Si la curva sigue bajando hacia cero, todavía no tiene retención.
  • Cohortes nuevas que superan a las antiguas. Esta es la evidencia más clara de que los cambios en el producto y en el onboarding están funcionando. La retención combinada lo oculta, porque los usuarios antiguos diluyen el promedio.

La retención a nivel de usuario alimenta las cifras a nivel de cuenta que se tratan en la retención neta de ingresos. Las métricas de adopción son indicadores adelantados de esos indicadores rezagados.

Adopción por asiento frente a adopción por cuenta

Los productos B2B de IA se venden a cuentas y los usan personas, así que necesita ambas vistas.

Adopción por asiento frente a adopción por cuenta: cuál es la diferencia, ilustrada con un banco individual y una estación de equipo

La adopción a nivel de cuenta pregunta si el cliente obtiene valor como organización: cuántos equipos lo usan, si está integrado en un proceso, si un patrocinador ejecutivo puede señalar un resultado.

La adopción a nivel de asiento pregunta cuántas de las personas con licencia lo usan realmente, y con qué profundidad. Una falla común es una cuenta que compró 200 asientos después de un piloto exitoso, donde 30 personas lo usan cada semana. La conversación de renovación empieza con licencias sin usar, y el equipo de finanzas del comprador las verá antes que usted.

Haga seguimiento de la proporción activa de asientos pagados y de la distribución del uso entre ellos. Un promedio oculta el patrón. A menudo, un puñado de usuarios avanzados genera la mayor parte del uso y el resto apenas inicia sesión.

Lleve estas cifras a la puntuación de salud del cliente para que el equipo de customer success vea la baja adopción antes de que llegue la fecha de renovación.

La brecha entre uso y valor

Un uso alto no garantiza valor, y un uso bajo no siempre significa fracaso. Mantenga estos casos separados.

Uso sin valor. Los usuarios abren el producto porque un gerente se lo pidió, o porque el hábito se formó antes de que pasara la novedad. El resultado no se usa. Señales: alta tasa de reintento, mucha edición, baja finalización de tareas y puntuaciones de encuesta que van por detrás de la actividad.

Valor sin uso. El producto resuelve una tarea poco frecuente pero costosa, así que el uso es bajo y el resultado es grande.

Valor que no aparece en el dashboard del producto. El beneficio aparece en otro lugar: en el tiempo de ciclo, en las tasas de error o en la capacidad de un equipo. El estudio del NBER de Brynjolfsson, Li y Raymond, Generative AI at Work, midió un asistente de IA entre 5179 agentes de atención al cliente. Encontró que la productividad, medida como casos resueltos por hora, aumentó 14 % en promedio, y 34 % en trabajadores novatos y de baja calificación, con un impacto mínimo en trabajadores experimentados y de alta calificación. Lo importante para los fundadores no es la cifra principal. Es que el valor se midió frente a un resultado de negocio y se desglosó por tipo de usuario, y que las ganancias fueron desiguales. Un promedio de adopción plano lo habría ocultado.

Por eso las métricas de adopción deben conectarse con un resultado que el cliente ya mide. Si no puede mostrar el vínculo entre el uso y un resultado, no puede defender la renovación. El ROI de productos de IA y el caso de negocio explica cómo construir ese vínculo, y los pilotos de IA que se convierten en contratos muestra cómo acordar la línea base antes de que empiece el piloto.

Cómo construir un conjunto de métricas que no mienta

No necesita treinta métricas. Un conjunto práctico para un producto de IA en etapa temprana cubre cada categoría de HEART una vez y cabe en una página.

Categoría de HEART Una métrica para empezar Frecuencia de revisión
Adoption (adopción) Proporción de cuentas nuevas activadas en un plazo de siete días Semanal
Engagement (compromiso) Tareas por usuario activo por semana Semanal
Retention (retención) Retención en la semana 4 y en la semana 12 por cohorte de registro Mensual
Task Success (éxito en la tarea) Tasa de aceptación más tasa de finalización de tareas Semanal
Happiness (satisfacción) Puntuación de feedback sobre los resultados y una pregunta periódica de satisfacción Mensual
Salud de la cuenta Proporción activa de asientos pagados Mensual

Siga el orden de objetivos, señales y métricas. Escriba el objetivo, como «un líder de soporte resuelve tickets más rápido», nombre la señal, como «tickets cerrados con un borrador de IA aceptado», y solo entonces defina la métrica.

Algunos hábitos mantienen honestas las cifras:

  • Excluya las cuentas internas y de prueba antes de leer cualquier dato.
  • Fije las definiciones una sola vez y déjelas por escrito. Cambiar la definición de activación a mitad de trimestre vuelve inútiles las tendencias.
  • Segmente por tipo de cliente. Los promedios entre clientes muy distintos no describen a ninguno.
  • Ubique las métricas en su jerarquía. Las métricas de adopción son insumos de resultados como la retención y los ingresos. Tenga claro cuáles son impulsores y cuáles son resultados.

Datos clave

  • Marco HEART: Happiness, Engagement, Adoption, Retention y Task Success, presentado por Rodden, Hutchinson y Fu en CHI 2010 para complementar métricas PULSE como las páginas vistas y los usuarios activos en siete días.
  • Método: el mismo artículo combina HEART con un proceso de objetivos, señales y métricas, de modo que cada métrica se remonta a un objetivo declarado.
  • Defina la adopción por una tarea completada, no por una visita; el artículo señala que algunos productos deberían contar a un usuario como adoptante solo después de completar una tarea clave.
  • Tasa de aceptación: en el estudio de GitHub sobre Copilot, la proporción de sugerencias mostradas que se aceptaron fue la medida de uso que mejor predijo la productividad percibida (correlación de 0,24, 2047 respuestas de encuesta cruzadas), con una varianza considerable sin explicar.
  • Medición vinculada a resultados: una ganancia de productividad promedio de 14 % entre 5179 agentes de soporte ocultaba una ganancia de 34 % en trabajadores novatos y un impacto mínimo en los experimentados.
  • Cohortes en lugar de promedios: lea la retención por cohorte de registro y busque una curva que se aplane, no una que siga cayendo.
  • Dos vistas: haga seguimiento de la proporción activa de asientos pagados y también de la integración a nivel de cuenta.

Preguntas frecuentes sobre las métricas de adopción de productos de IA

¿Cuál es la métrica de adopción más importante para un producto de IA?

No hay una sola, pero la retención por cohorte de registro es la que más se acerca. Muestra si las personas siguen obteniendo valor cuando pasa la novedad, y no se puede inflar con registros ni con pruebas de una sola vez. Combínela con una tasa de activación para ver dónde se pierden los usuarios nuevos.

¿Qué es el marco HEART?

HEART es un conjunto de cinco categorías para métricas centradas en el usuario: Happiness, Engagement, Adoption, Retention y Task Success. Los investigadores de Google Rodden, Hutchinson y Fu lo presentaron en CHI 2010, junto con un proceso de objetivos, señales y métricas para convertir cada categoría en medidas específicas. Los equipos eligen las categorías que encajan con su producto.

¿Es DAU/MAU una buena métrica de permanencia para productos de IA?

Solo cuando el producto está pensado para usarse a diario. Una herramienta que apoya una tarea semanal o mensual mostrará un índice bajo incluso cuando los clientes la valoran. Elija una ventana de actividad que corresponda al ciclo natural del trabajo y confirme que la métrica predice quién se retiene.

¿Cuál es una buena tasa de aceptación para los resultados de IA?

No hay un punto de referencia universal, porque depende de la tarea, del usuario y de cómo se muestran las sugerencias. El estudio de GitHub encontró que la tasa de aceptación variaba de forma significativa entre desarrolladores y a lo largo del tiempo. Haga seguimiento de su propia tasa por segmento de usuarios y en el tiempo, y combínela con la tasa de edición para que «aceptado» signifique realmente útil.

¿Cómo se distingue el uso del valor?

Compare el uso del producto con un resultado que el cliente ya mide, como el tiempo de resolución o la tasa de error. Un uso sin mejora en ese resultado es una señal de alerta. Muchos reintentos, mucha edición y baja finalización de tareas junto con una actividad alta sugieren que las personas usan el producto pero no confían en él.

¿Las startups B2B de IA deben medir la adopción por asiento o por cuenta?

Ambas. La adopción por cuenta muestra si el producto está integrado en un proceso, y la adopción por asiento muestra cuántas personas con licencia lo usan. Una cuenta grande con pocos asientos activos es un riesgo de renovación, así que haga seguimiento de la proporción activa de asientos pagados y de cómo se distribuye el uso entre ellos.

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.