Riesgos de la IA en el servicio al cliente: respuestas erróneas, responsabilidad legal y daño a la marca

Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
El riesgo de la IA en el servicio al cliente es la posibilidad de que un agente de IA dé a un cliente información errónea, dañina o contraria a la marca, o ejecute una acción equivocada, y de que su empresa tenga que responder por ello. La palabra clave es su. Cuando un bot habla en su sitio web, los clientes y, cada vez más, los tribunales tratan sus palabras como si fueran suyas.
Esa es la lección del caso más conocido hasta ahora. En febrero de 2024, un tribunal canadiense ordenó a Air Canada pagar a un pasajero después de que su chatbot le diera información errónea sobre una tarifa. La suma fue pequeña. El razonamiento, no. Esta guía repasa ese caso y otros tres, agrupa los riesgos en una tabla que puede usar como lista de verificación y termina con salvaguardas que un gerente de soporte puede poner en marcha sin esperar a un equipo legal. Es una visión general práctica, no asesoría jurídica, así que consulte con un abogado cualquier asunto específico de su mercado. Para ver el panorama completo de la colección, consulte la IA en el servicio al cliente.
Datos clave
- El 14 de febrero de 2024, el Civil Resolution Tribunal de Columbia Británica resolvió en Moffatt v. Air Canada que la aerolínea era responsable de lo que su chatbot le dijo a un cliente (Daily Hive).
- El monto fue modesto: 650,88 dólares por daños, 36,14 dólares de intereses y 125 dólares en tasas del tribunal, unos 812 dólares en total. El valor como precedente es mucho mayor que la suma.
- El tribunal rechazó el argumento de que el bot era una entidad legal independiente y concluyó que Air Canada no tomó el cuidado razonable para asegurar que su chatbot fuera preciso (Manatt).
- No todos los fallos son legales. El chatbot de DPD soltó palabrotas y criticó a la empresa, y las capturas de pantalla se vieron más de un millón de veces (Yahoo News).
- La Consumer Financial Protection Bureau de Estados Unidos advirtió en 2023 que las empresas pueden ser responsables cuando sus chatbots no cumplen la ley de protección financiera del consumidor (CFPB).
Los cuatro tipos de fallo de la IA en soporte
La mayoría de los incidentes cae en una de cuatro categorías, y cada una requiere una salvaguarda distinta.

- Respuestas erróneas. La IA afirma una política, un precio o una regla que no es cierta. Es el problema de la alucinación, y es el más frecuente.
- Acciones erróneas. La IA no solo conversa, también hace algo: emite un reembolso, modifica una cuenta, promete una fecha de entrega. Un error aquí mueve dinero o crea un compromiso.
- Comportamiento contrario a la marca. La IA dice groserías, insulta, bromea sobre una tragedia o critica a la empresa. Ningún dato es falso, pero la confianza sufre.
- Clientes atrapados. La IA mantiene a los clientes en un bucle sin ruta hacia una persona, lo que convierte una molestia en una queja o en un problema regulatorio.
Los cuatro casos siguientes encajan en estas categorías. En términos de ACE, el primero y el tercero provienen de Generate (un modelo que produce texto), mientras que el segundo suma Execute (el modelo que actúa sobre sistemas), que es donde más importa la gobernanza.
Caso 1: Air Canada y la tarifa por duelo
Jake Moffatt consultó al chatbot del sitio web de Air Canada sobre las tarifas por duelo después de que falleciera su abuela. El chatbot le dijo que podía solicitar la tarifa reducida con carácter retroactivo, dentro de los 90 días posteriores a la compra de sus boletos. Más tarde, el personal de Air Canada le dijo que no se permitían solicitudes retroactivas, y la política publicada en el propio sitio indicaba que las tarifas por duelo no cubrían viajes ya realizados (Fox Business). Él reclamó un reembolso parcial de unos 880 dólares.

La defensa de Air Canada es la parte más interesante. Alegó que no podía responder por la información de su chatbot y que la política correcta estaba disponible en otra parte de su sitio. El miembro del tribunal, Christopher Rivers, rechazó ambos puntos. El tribunal concluyó que Air Canada tenía un deber de cuidado hacia Moffatt, que no tomó el cuidado razonable para asegurar la precisión de su chatbot y que había incurrido en tergiversación negligente (Manatt). También sostuvo que el chatbot forma parte del sitio web de la aerolínea y que esta es responsable de toda la información que contiene, ya provenga de una página estática o de un chatbot (Daily Hive). El caso se cita como Moffatt v. Air Canada, 2024 BCCRT 149.
Dos salvedades mantienen el análisis honesto. Fue una decisión de un tribunal de reclamos menores en una provincia canadiense, por lo que no obliga a los tribunales de otros lugares. Y el reclamo fue acotado: un cliente confió en una afirmación errónea concreta y perdió dinero. Aun así, el mensaje práctico se aplica bien en otros contextos. «Lo dijo el bot, no nosotros» y «la respuesta correcta estaba en otra página» no funcionaron como defensas aquí, y debe asumir que tampoco le funcionarán a usted.
Caso 2: DPD y el chatbot que se salió del guion
En enero de 2024, un cliente de DPD llamado Ashley Beauchamp logró que el chatbot de la empresa de mensajería dijera palabrotas y afirmara que «DPD es la peor empresa de reparto del mundo». Publicó las capturas de pantalla el 18 de enero de 2024 y se vieron más de un millón de veces. DPD explicó que un error siguió a una actualización del sistema, que el «elemento de IA se desactivó de inmediato» y que ese elemento había funcionado con éxito durante varios años junto con el servicio al cliente humano (Yahoo News).
Aquí nadie perdió dinero. El daño fue reputacional, y el cliente había provocado deliberadamente al bot. Ese es el punto. El riesgo para la marca no necesita una víctima, solo una captura de pantalla. Fíjese también en qué lo desencadenó: una actualización rutinaria del sistema. Cualquier cambio en el modelo, los prompts o la configuración puede deshacer un comportamiento que usted probó el mes pasado.
Caso 3: Cursor y la política inventada
En abril de 2025, los usuarios de la herramienta de programación Cursor que preguntaron por qué se les cerraba la sesión en varias máquinas recibieron un correo del bot de soporte con IA de la empresa que decía que se trataba de un comportamiento esperado. No existía tal política. El cofundador Michael Truell escribió en Reddit «¡Hola! No tenemos tal política», calificó la respuesta de incorrecta, proveniente de un bot de soporte con IA de primera línea, y se disculpó. Cursor dijo que las respuestas de IA usadas en el soporte por correo pasarían a estar claramente identificadas, y al desarrollador que planteó el problema se le reembolsó su dinero (The Register).
Es el patrón de Air Canada en otro sector: una regla segura, específica e inventada. La IA no dijo «no estoy seguro». Llenó un vacío con algo plausible. La respuesta de la empresa también merece estudio. Una corrección pública rápida, un reembolso y una etiqueta en las respuestas de IA es un playbook razonable para el día en que le ocurra a usted.
Caso 4: el chatbot MyCity de Nueva York y los consejos ilegales
En octubre de 2023, la ciudad de Nueva York lanzó un chatbot de IA en su portal MyCity para ayudar a los dueños de negocios a orientarse en las normas municipales. En marzo de 2024, The Markup informó que el bot daba con frecuencia respuestas incompletas o erróneas. Decía que los arrendadores no tenían que aceptar los vales de la Sección 8, que los bloqueos de inquilinos eran legales, que los restaurantes podían dejar de aceptar efectivo pese a una ley municipal de 2020 que exigía aceptarlo, y que los empleadores podían quedarse con una parte de las propinas de los trabajadores. Las respuestas también variaban: a un periodista le dijo que los arrendadores debían aceptar los vales, y a otros diez miembros del personal les dijo que no tenían que hacerlo. Un portavoz de la ciudad describió el bot como un piloto que mejoraría (The Markup).
No es el centro de ayuda de una empresa, pero muestra la peor versión de una respuesta errónea: un consejo que, de seguirse, infringe la ley. Si su IA responde preguntas sobre contratos, legislación de precios, seguridad, salud o empleo, está en el mismo terreno. La inconsistencia es un riesgo en sí misma, porque la misma pregunta puede recibir respuestas distintas en días distintos.
La tabla de riesgos: riesgo, ejemplo, salvaguarda y responsable
Úsela como lista de verificación inicial. «Responsable» significa el rol que debería poder responder por ese riesgo, no la persona que hace todo el trabajo.

| Riesgo | Ejemplo | Salvaguarda | Responsable |
|---|---|---|---|
| Política o precio inventado | El reclamo de tarifa retroactiva de Air Canada; la regla de cierre de sesión de Cursor | Responder solo a partir de fuentes aprobadas; negarse a responder cuando no se encuentra una fuente; identificar las respuestas de IA | Líder de operaciones de soporte |
| Asesoría legal o regulatoria errónea | El bot de Nueva York sobre normas de inquilinos y propinas | Bloquear los temas legales, de salud y de seguridad; traspasar a una persona con un mensaje fijo | Legal o cumplimiento |
| Respuestas contrarias a la marca o abusivas | Las palabrotas del bot de DPD | Filtros de salida, reglas de tono, pruebas de regresión tras cada actualización | Líder de operaciones de soporte junto con marca |
| Acción no autorizada | Un bot que emite reembolsos o promesas que no debería | Límites de gasto, pasos de aprobación, registros de acciones | Responsable de soporte |
| Cliente atrapado en un bucle | Los «círculos viciosos sin salida» descritos por la CFPB | Ruta siempre visible hacia una persona; escalar tras fallos repetidos | Líder de operaciones de soporte |
| Deriva silenciosa tras un cambio | El error de DPD tras una actualización del sistema | Conjunto de prueba ejecutado antes y después de cada cambio de modelo, prompt o contenido | Líder de operaciones de soporte |
| Privacidad y exposición de datos | Datos personales en los registros de chat | Reglas de minimización y retención de datos, tratadas en privacidad de datos del cliente en el soporte con IA | Responsable de seguridad o privacidad |
| IA no declarada | Un cliente que no sabe que es un bot | Divulgación clara al inicio de la conversación | Legal o cumplimiento |
Las dos últimas filas tienen sus propias guías porque las reglas varían según el país y cambian con frecuencia. Trate este artículo como el mapa y esas guías como el detalle.
Por qué les importa a los reguladores
No hace falta una demanda para sentir la presión. El informe de la CFPB de junio de 2023 sobre chatbots en finanzas del consumidor establece que se espera que los chatbots cumplan toda la legislación federal pertinente de protección financiera del consumidor y que las empresas pueden ser responsables si no lo hacen. Entre sus preocupaciones menciona la información inexacta, la incapacidad de reconocer disputas, los «círculos viciosos sin salida» sin camino hacia una persona y los riesgos de privacidad. El informe aclara que no impone nuevas obligaciones (CFPB). Tenga en cuenta que esto se refiere a los servicios financieros en Estados Unidos. Si opera en otro lugar o en otro sector, los detalles difieren, pero la dirección es la misma: el canal no cambia el deber.
Cómo reducir el riesgo: ocho pasos
- Decida lo que la IA no puede hacer. Escriba una lista corta de temas y acciones prohibidos: asesoría legal, orientación médica o de seguridad, cualquier cosa que implique reembolsos por encima de un umbral. Parta de qué automatizar y qué asistir.
- Base cada respuesta en contenido aprobado. La página de Air Canada y el chatbot se contradecían, y la aerolínea pagó por esa brecha. Mantenga una única fuente de verdad actualizada y asegúrese de que la IA lea de ella. Preparar los datos de soporte para la IA explica cómo.
- Deje que la IA diga «no lo sé». Configúrela para traspasar la conversación cuando ninguna fuente coincida, en lugar de improvisar. Una negativa cuesta unos minutos. Una política inventada puede costar mucho más.
- Limite lo que puede hacer. Para todo lo que mueva dinero o genere un compromiso, fije topes, exija aprobación humana por encima de ellos y registre cada acción junto con la conversación que la originó.
- Mantenga una salida visible. Los clientes deben poder llegar a una persona sin discutir con el bot. Lo que los clientes esperan del servicio con IA explica por qué esto importa más allá del cumplimiento normativo.
- Pruebe antes y después de cada cambio. Arme un conjunto de entre 50 y 100 preguntas reales, incluidas las adversarias (insultos, intentos de jailbreak, casos límite de quejas pasadas). Ejecútelo cada vez que cambie el modelo, el prompt o la base de conocimiento. El incidente de DPD siguió a una actualización del sistema.
- Revise conversaciones, no solo métricas. Tome una muestra semanal de conversaciones de IA y califíquelas. El aseguramiento de calidad con IA en soporte explica cómo revisar conversaciones de soporte. Combínelo con una medida de resolución honesta para que una respuesta errónea no se cuente como un éxito.
- Escriba el plan de incidentes antes de necesitarlo. Nombre quién puede apagar la IA, quién habla con el cliente, quién publica una corrección y cómo se gestionan los reembolsos. Cursor y DPD actuaron con rapidez, y esa rapidez fue gran parte de su recuperación.
Si lo está implantando por primera vez, incorpore estos pasos a su plan de lanzamiento en lugar de añadirlos después. La guía de implementación muestra dónde encaja cada uno.
Errores que conviene evitar
Confiar en un descargo de responsabilidad. Una línea que dice que el bot «puede producir ocasionalmente» contenido incorrecto, como la página del bot de Nueva York, no frenó las críticas y tampoco habría ayudado a Air Canada. Un descargo de responsabilidad no es un control.
Suponer que la página correcta lo protege. En el caso de Air Canada, el tribunal no aceptó que una página web correcta excusara a un chatbot equivocado. Sus documentos y su bot deben coincidir, porque los clientes creerán lo primero que vean.
Probar una sola vez, en el lanzamiento. El comportamiento se desvía cuando cambian los modelos, los prompts y el contenido. Trate las pruebas como una tarea recurrente con un responsable.
Dar herramientas a la IA antes de ponerle límites. El salto de responder a actuar es donde los errores pequeños se vuelven caros. Añada acciones de una en una, cada una con un tope y un registro.
Ocultar la IA. Hacer pasar al bot por una persona tiende a que cada error se perciba como un engaño. El problema del tono también es real: decida cómo trata el bot a un cliente frustrado antes de darle una personalidad.
Tratar el riesgo como un tema solo legal. Legal puede fijar las reglas, pero operaciones de soporte ve las conversaciones. La columna de responsables de la tabla anterior debería tener un nombre junto a cada fila.
Una forma sencilla de empezar
Si todo esto le parece mucho, empiece con tres medidas este mes. Primero, lea 30 conversaciones recientes de IA y marque cada afirmación que no respalden sus propios documentos. Segundo, añada un traspaso obligatorio para los temas que enumeró en el primer paso. Tercero, nombre a la persona que puede apagar la IA a las 2 de la madrugada. Esos tres pasos abordan los fallos de los cuatro casos anteriores y cuestan mucho menos que el mal día que evitan.

Customer Success Operations Manager
On this page
- Datos clave
- Los cuatro tipos de fallo de la IA en soporte
- Caso 1: Air Canada y la tarifa por duelo
- Caso 2: DPD y el chatbot que se salió del guion
- Caso 3: Cursor y la política inventada
- Caso 4: el chatbot MyCity de Nueva York y los consejos ilegales
- La tabla de riesgos: riesgo, ejemplo, salvaguarda y responsable
- Por qué les importa a los reguladores
- Cómo reducir el riesgo: ocho pasos
- Errores que conviene evitar
- Una forma sencilla de empezar