Riscos da IA no atendimento ao cliente: respostas erradas, responsabilidade e dano à marca

Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
O risco da IA no atendimento ao cliente é a chance de um agente de IA dar ao cliente uma informação errada, nociva ou fora do tom da marca, ou executar uma ação equivocada, e de a sua empresa ter de responder por isso. A palavra-chave é sua. Quando um bot fala no seu site, clientes e, cada vez mais, tribunais tratam as palavras dele como suas.
Essa é a lição do caso mais conhecido até agora. Em fevereiro de 2024, um tribunal canadense mandou a Air Canada indenizar um passageiro depois que o chatbot da empresa lhe deu informações erradas sobre uma tarifa. O valor foi pequeno. O raciocínio, não. Este guia percorre esse caso e outros três, reúne os riscos em uma tabela que você pode usar como checklist e termina com salvaguardas que um gerente de suporte pode adotar sem esperar pelo time jurídico. É uma visão geral prática, não aconselhamento jurídico, então confirme com um advogado qualquer ponto específico do seu mercado. Para ver o quadro mais amplo da coleção, consulte IA no atendimento ao cliente.
Fatos Principais
- Em 14 de fevereiro de 2024, o Civil Resolution Tribunal da Colúmbia Britânica decidiu, em Moffatt v. Air Canada, que a companhia aérea era responsável pelo que seu chatbot disse a um cliente (Daily Hive).
- O valor foi modesto: US$ 650,88 de indenização, US$ 36,14 de juros e US$ 125 em custas do tribunal, cerca de US$ 812 no total. O valor de precedente é muito maior que a quantia.
- O tribunal rejeitou o argumento de que o bot era uma entidade jurídica separada e concluiu que a Air Canada não tomou o cuidado razoável para garantir a precisão do seu chatbot (Manatt).
- Nem toda falha é jurídica. O chatbot da DPD xingou e criticou a própria empresa, e as capturas de tela foram vistas mais de um milhão de vezes (Yahoo News).
- O Consumer Financial Protection Bureau dos EUA alertou em 2023 que as empresas podem ser responsabilizadas quando chatbots deixam de seguir a lei de finanças do consumidor (CFPB).
Os quatro tipos de falha da IA no suporte
A maioria dos incidentes se encaixa em um de quatro grupos, e cada um pede uma salvaguarda diferente.

- Respostas erradas. A IA afirma uma política, um preço ou uma regra que não é verdadeira. É o problema da alucinação, e o mais comum.
- Ações erradas. A IA não apenas fala, ela faz algo: emite um reembolso, altera uma conta, promete uma data de entrega. Um erro aqui move dinheiro ou cria um compromisso.
- Comportamento fora da marca. A IA xinga, insulta, faz piada com uma tragédia ou critica a empresa. Nenhum fato está errado, mas a confiança leva o golpe.
- Clientes presos. A IA mantém os clientes em um ciclo sem caminho até uma pessoa, o que transforma um incômodo em reclamação ou em problema regulatório.
Os quatro casos abaixo se encaixam nesses grupos. Em termos de ACE, o primeiro e o terceiro vêm de Generate (um modelo produzindo texto), enquanto o segundo acrescenta Execute (o modelo agindo sobre sistemas), que é onde a governança mais importa.
Caso 1: Air Canada e a tarifa de luto
Jake Moffatt perguntou ao chatbot do site da Air Canada sobre tarifas de luto depois da morte da avó. O chatbot disse que ele poderia pedir a tarifa reduzida retroativamente, em até 90 dias após a compra das passagens. Funcionários da Air Canada disseram depois que pedidos retroativos não eram permitidos, e a própria política no site da empresa dizia que as tarifas de luto não cobriam viagens já realizadas (Fox Business). Ele pediu um reembolso parcial de cerca de US$ 880.

A defesa da Air Canada é a parte interessante. A empresa argumentou que não podia ser responsabilizada por informações fornecidas pelo chatbot e que a política correta estava disponível em outro ponto do site. O membro do tribunal Christopher Rivers rejeitou os dois argumentos. O tribunal concluiu que a Air Canada tinha um dever de cuidado para com Moffatt, não tomou o cuidado razoável para garantir a precisão do chatbot e cometeu declaração enganosa por negligência (Manatt). Também entendeu que o chatbot faz parte do site da companhia aérea e que ela é responsável por todas as informações nele, venham de uma página estática ou de um chatbot (Daily Hive). O caso está registrado como Moffatt v. Air Canada, 2024 BCCRT 149.
Duas ressalvas mantêm a análise honesta. Foi uma decisão de um tribunal de pequenas causas em uma província canadense, então não vincula tribunais de outros lugares. E a reclamação era estreita: um cliente confiou em uma afirmação errada específica e perdeu dinheiro. Ainda assim, a mensagem prática vale para qualquer lugar. "Foi o bot que disse, não nós" e "a resposta certa estava em outra página" não funcionaram como defesa aqui, e você deve presumir que também não funcionarão para você.
Caso 2: DPD e o chatbot que saiu do roteiro
Em janeiro de 2024, um cliente da DPD chamado Ashley Beauchamp induziu o chatbot da empresa de entregas a xingar e a dizer "a DPD é a pior empresa de entregas do mundo". Ele publicou as capturas de tela em 18 de janeiro de 2024, e elas foram vistas mais de um milhão de vezes. A DPD disse que um erro ocorreu após uma atualização do sistema, que o "elemento de IA foi desativado imediatamente" e que esse elemento funcionava com sucesso havia vários anos ao lado do atendimento humano (Yahoo News).
Ninguém perdeu dinheiro aqui. O dano foi de reputação, e o cliente provocou o bot de propósito. É esse o ponto. O risco de marca não precisa de uma vítima, só de uma captura de tela. Observe também o que o desencadeou: uma atualização de sistema de rotina. Qualquer mudança no modelo, nos prompts ou nas configurações pode desfazer um comportamento que você testou no mês passado.
Caso 3: Cursor e a política inventada
Em abril de 2025, usuários da ferramenta de programação Cursor que perguntaram por que estavam sendo desconectados em várias máquinas receberam um e-mail do bot de suporte de IA da empresa dizendo que esse era o comportamento esperado. Essa política não existia. O cofundador Michael Truell escreveu no Reddit: "Ei! Não temos essa política", classificou a resposta como incorreta, vinda de um bot de suporte de IA na linha de frente, e pediu desculpas. A Cursor disse que as respostas de IA usadas no suporte por e-mail passariam a ser claramente identificadas, e o desenvolvedor que levantou o problema foi reembolsado (The Register).
É o padrão da Air Canada em outro setor: uma regra inventada, confiante e específica. A IA não disse "não tenho certeza". Ela preencheu uma lacuna com algo plausível. A resposta da empresa também merece estudo. Uma correção pública rápida, um reembolso e um rótulo nas respostas de IA formam um playbook razoável para o dia em que isso acontecer com você.
Caso 4: o chatbot MyCity de Nova York e o conselho ilegal
Em outubro de 2023, a cidade de Nova York lançou um chatbot de IA no portal MyCity para ajudar donos de negócios a entender as regras municipais. Em março de 2024, o The Markup relatou que o bot frequentemente dava respostas incompletas ou erradas. Ele dizia que proprietários não eram obrigados a aceitar vouchers do Section 8, que despejos por troca de fechadura eram legais, que restaurantes podiam deixar de aceitar dinheiro em espécie apesar de uma lei municipal de 2020 que exige essa aceitação, e que empregadores podiam ficar com parte das gorjetas dos funcionários. As respostas também variavam: ele disse a uma repórter que proprietários devem aceitar vouchers e disse a outros dez funcionários que não precisavam. Um porta-voz da prefeitura descreveu o bot como um piloto que iria melhorar (The Markup).
Esta não é uma central de ajuda corporativa, mas mostra a pior versão de uma resposta errada: um conselho que, se seguido, infringe a lei. Se a sua IA responde a perguntas sobre contratos, direito de preços, segurança, saúde ou emprego, você está no mesmo território. A inconsistência é um risco em si, porque a mesma pergunta pode receber respostas diferentes em dias diferentes.
A tabela de riscos: risco, exemplo, salvaguarda e responsável
Use-a como checklist inicial. "Responsável" é o papel que deve conseguir responder por aquele risco, não a pessoa que faz todo o trabalho.

| Risco | Exemplo | Salvaguarda | Responsável |
|---|---|---|---|
| Política ou preço inventado | A alegação de tarifa retroativa da Air Canada; a regra de login da Cursor | Responder apenas com fontes aprovadas; recusar quando nenhuma fonte for encontrada; identificar as respostas de IA | Líder de operações de suporte |
| Orientação jurídica ou regulatória errada | O bot de Nova York sobre regras de locação e gorjetas | Bloquear temas jurídicos, de saúde e de segurança; transferir para uma pessoa com uma mensagem fixa | Jurídico ou compliance |
| Resposta fora da marca ou abusiva | O bot da DPD xingando | Filtros de saída, regras de tom, testes de regressão após cada atualização | Líder de operações de suporte e marca |
| Ação não autorizada | Um bot emitindo reembolsos ou promessas que não deveria | Limites de gasto, etapas de aprovação, registros de ações | Head de suporte |
| Cliente preso em um ciclo | Os "ciclos sem saída" descritos pelo CFPB | Caminho sempre visível até uma pessoa; escalonar após falhas repetidas | Líder de operações de suporte |
| Deriva silenciosa após uma mudança | O erro da DPD após uma atualização de sistema | Conjunto de teste executado antes e depois de cada mudança de modelo, prompt ou conteúdo | Líder de operações de suporte |
| Privacidade e exposição de dados | Dados pessoais em logs de chat | Regras de minimização e retenção de dados, abordadas em privacidade de dados do cliente no suporte com IA | Líder de segurança ou privacidade |
| IA não divulgada | Um cliente que não sabe que é um bot | Divulgação clara no início da conversa | Jurídico ou compliance |
As duas últimas linhas têm guias próprios porque as regras mudam conforme o país e mudam com frequência. Trate este artigo como o mapa, e esses guias como o detalhe.
Por que os reguladores se importam
Você não precisa de um processo para sentir a pressão. O relatório do CFPB de junho de 2023 sobre chatbots em finanças do consumidor afirma que se espera que chatbots sigam todas as leis federais de finanças do consumidor relevantes e que as empresas podem ser responsabilizadas quando não o fizerem. Ele lista informações imprecisas, falha em reconhecer disputas, "ciclos sem saída" sem caminho até uma pessoa e riscos de privacidade entre suas preocupações. O relatório diz que não impõe novas obrigações (CFPB). Note que isso se refere a serviços financeiros nos EUA. Se você atua em outro lugar ou em outro setor, os detalhes diferem, mas a direção é a mesma: o canal não muda o dever.
Como reduzir o risco: oito passos
- Defina o que a IA não pode fazer. Escreva uma lista curta de temas e ações proibidos: aconselhamento jurídico, orientação médica ou de segurança, qualquer coisa que envolva reembolsos acima de um limite. Comece por o que automatizar e o que assistir.
- Baseie cada resposta em conteúdo aprovado. A página da Air Canada e o chatbot discordavam, e a companhia pagou pela diferença. Mantenha uma fonte única de verdade atualizada e garanta que a IA leia dela. Preparar os dados de suporte para a IA mostra como.
- Deixe a IA dizer "não sei". Configure-a para transferir quando nenhuma fonte corresponder, em vez de improvisar. Uma recusa custa alguns minutos. Uma política inventada pode custar muito mais.
- Limite o que ela pode fazer. Para tudo o que move dinheiro ou cria um compromisso, defina tetos, exija aprovação humana acima deles e registre cada ação junto com a conversa que a desencadeou.
- Mantenha uma saída visível. Os clientes devem chegar a uma pessoa sem discutir com o bot. O que os clientes esperam do atendimento com IA explica por que isso importa além da conformidade.
- Teste antes e depois de cada mudança. Monte um conjunto de 50 a 100 perguntas reais, incluindo adversariais (insultos, tentativas de jailbreak, casos extremos de reclamações passadas). Execute-o sempre que o modelo, o prompt ou a base de conhecimento mudar. O incidente da DPD veio depois de uma atualização de sistema.
- Revise conversas, não apenas métricas. Colete amostras semanais de conversas com a IA e avalie-as. Garantia de qualidade de IA para o suporte mostra como revisar conversas de suporte. Combine isso com uma medida de resolução honesta, para que uma resposta errada não seja contada como sucesso.
- Escreva o plano de incidente antes de precisar dele. Defina quem pode desligar a IA, quem fala com o cliente, quem publica uma correção e como os reembolsos são tratados. A Cursor e a DPD agiram rápido, e a velocidade foi grande parte da recuperação delas.
Se você está implantando isso pela primeira vez, incorpore esses passos ao seu plano de lançamento em vez de acrescentá-los depois. O guia de implementação mostra onde cada um se encaixa.
Armadilhas a evitar
Confiar em um aviso legal. Uma frase dizendo que o bot "pode ocasionalmente produzir" conteúdo incorreto, como na página do bot de Nova York, não impediu as críticas e não teria ajudado a Air Canada. Um aviso legal não é um controle.
Presumir que a página correta protege você. O tribunal no caso da Air Canada não aceitou que uma página correta desculpasse um chatbot errado. Seus documentos e seu bot precisam concordar, porque os clientes acreditarão no que virem primeiro.
Testar uma única vez, no lançamento. O comportamento muda quando modelos, prompts e conteúdo mudam. Trate o teste como uma tarefa recorrente com um responsável.
Dar ferramentas à IA antes de dar limites. O salto de responder para agir é onde pequenos erros ficam caros. Adicione ações uma de cada vez, cada uma com um teto e um registro.
Esconder a IA. Fingir que o bot é uma pessoa tende a fazer cada erro parecer um engano. O problema de tom também é real: decida como o bot lida com um cliente frustrado antes de lhe dar uma personalidade.
Tratar o risco como assunto só do jurídico. O jurídico pode definir as regras, mas as operações de suporte veem as conversas. A coluna de responsável na tabela acima deve ter um nome ao lado de cada linha.
Uma forma simples de começar
Se tudo isso parece demais, comece com três movimentos neste mês. Primeiro, leia 30 conversas recentes da IA e marque cada afirmação que não esteja respaldada pelos seus próprios documentos. Segundo, adicione uma transferência obrigatória para os temas que você listou no primeiro passo. Terceiro, nomeie a pessoa que pode desligar a IA às 2 da manhã. Esses três passos atacam as falhas dos quatro casos acima e custam muito menos que o único dia ruim que evitam.

Customer Success Operations Manager
On this page
- Fatos Principais
- Os quatro tipos de falha da IA no suporte
- Caso 1: Air Canada e a tarifa de luto
- Caso 2: DPD e o chatbot que saiu do roteiro
- Caso 3: Cursor e a política inventada
- Caso 4: o chatbot MyCity de Nova York e o conselho ilegal
- A tabela de riscos: risco, exemplo, salvaguarda e responsável
- Por que os reguladores se importam
- Como reduzir o risco: oito passos
- Armadilhas a evitar
- Uma forma simples de começar