Controles de precisão para IA em finanças: como evitar números errados

Por Jane Ha · Atualizado em 11 de outubro de 2026

Os controles de precisão para IA em finanças são as verificações que ficam entre a saída de uma ferramenta de IA e os seus livros, relatórios ou decisões: conferência com os documentos de origem, limites de tolerância, recálculo independente, conciliação e uma revisão humana definida. O objetivo não é desconfiar da ferramenta. É que um número errado, fluente e seguro de si é idêntico a um número certo, e o que separa os dois é uma verificação desenhada com antecedência.

Este guia é para controllers, líderes de FP&A, gerentes financeiros e qualquer pessoa que aprova números produzidos com ajuda de uma ferramenta de IA. Se você ainda está escolhendo onde usar IA, comece por casos de uso de IA em finanças. Se a sua preocupação é auditoria e escopo SOX, leia IA e controles internos junto com este. Este artigo é a camada prática por baixo: quais verificações pegam quais erros.

Fatos Principais

• O FinanceBench, um benchmark publicado com 10.231 perguntas sobre empresas de capital aberto, constatou que o GPT-4-Turbo usado com um sistema de recuperação respondeu incorretamente ou se recusou a responder 81% das perguntas na amostra de 150 casos dos autores (arXiv).
• Mesmo a melhor configuração testada pelos autores do FinanceBench, o GPT-4-Turbo com janela de contexto longa, acertou em apenas 79% dos casos, e os autores alertam que unidades erradas, números desatualizados e lógica falha "podem não ser aparentes sem uma inspeção detalhada" (artigo do FinanceBench).
• Das 8.908 perguntas do FinanceBench classificadas pelos autores, 66% (5.897) envolvem raciocínio numérico, o tipo de cálculo que as equipes financeiras fazem todos os dias (artigo do FinanceBench).
• A orientação de risco de modelos dos reguladores bancários dos EUA (SR 26-2, emitida em abril de 2026 para substituir a SR 11-7) trata o "questionamento efetivo" por especialistas objetivos como parte de uma boa gestão de risco de modelos e descreve a análise de resultados, incluindo o backtest, como uma forma de comparar as saídas do modelo com os resultados do mundo real (Federal Reserve SR 26-2).
• Em 2025, a Deloitte devolveu mais de A$97.000 de um relatório para o governo australiano, originalmente avaliado em cerca de A$440.000, depois que se descobriu que ele continha uma citação inventada e referências a pesquisas inexistentes (CFO Dive).

Por que a IA erra números

A IA generativa prevê texto plausível. Ela não calcula como uma planilha e não "conhece" o seu razão a menos que você forneça os dados. Isso gera alguns padrões de falha que as equipes financeiras veem repetidamente. Para entender o termo em si, veja alucinação de IA.

• Conteúdo inventado. Um número, citação ou conta que não existe, apresentado com total confiança.
• Número certo, contexto errado. Um valor correto, mas de outro período, entidade, moeda ou escala (milhares em vez de milhões).
• Aritmética ou lógica ruim. Etapas que parecem raciocinadas, mas não fecham.
• Omissão silenciosa. Uma linha que fica de fora de um resumo ou de uma conciliação, sem nada que sinalize a lacuna.
• Deriva. Comportamento que muda após uma atualização do fornecedor, uma edição de prompt ou uma nova fonte de dados.

Os autores do FinanceBench descrevem bem o padrão. Os modelos muitas vezes davam respostas "superficialmente coerentes e aparentemente bem justificadas, às vezes com cálculos e etapas de raciocínio extensos, que ainda assim estavam erradas" (artigo do FinanceBench). Esse é o tipo perigoso de erro: ele passa por uma olhada rápida. A recuperação pode ajudar, já que ancorar o modelo nos seus documentos é a ideia por trás da geração aumentada por recuperação, mas o resultado do benchmark mostra que a recuperação sozinha não torna a saída segura para lançar na contabilidade.

Casos documentados: quanto custa a saída sem verificação

Nenhum destes é o processo de fechamento de uma equipe financeira, mas cada um é um registro público do que acontece quando a saída de uma IA sai sem uma verificação de verdade.

Um relatório de consultoria com referências inventadas. Um relatório de A$440.000 para o Departamento de Emprego e Relações de Trabalho da Austrália continha uma citação inventada de uma decisão de um tribunal federal e referências a artigos acadêmicos inexistentes. A Deloitte devolveu mais de A$97.000, menos de um quarto do valor, e o departamento disse que a substância da revisão foi mantida (CFO Dive). A lição para as finanças: uma entrega profissional pode levar invenções da IA às mãos do cliente, e o custo é uma devolução mais o dano à reputação.

Citações falsas em uma petição judicial. Em Mata v. Avianca, um tribunal federal de Nova York sancionou advogados que apresentaram uma peça com casos gerados pelo ChatGPT que não existiam. A ordem de 22 de junho de 2023 impôs uma multa de $5.000 solidariamente ao escritório e aos advogados, constatando má-fé com base em evasão consciente e declarações enganosas. O tribunal também disse que usar uma ferramenta de IA confiável não é inerentemente impróprio, mas que os advogados devem atuar como guardiões da precisão (Reed Smith). A mesma lógica vale para quem assina uma petição, uma conciliação ou um relatório gerencial.

Um chatbot que informou a política errada. Em Moffatt v. Air Canada (2024 BCCRT 149), um tribunal da Colúmbia Britânica considerou a companhia aérea responsável pela orientação errada sobre tarifa de luto dada por seu próprio chatbot, que contradizia outra página do site. O tribunal escreveu que "deveria ser óbvio para a Air Canada que ela é responsável por todas as informações em seu site" (McCarthy Tetrault). Se um chatbot financeiro informar a um funcionário o limite de reembolso errado, ou a um fornecedor a data de pagamento errada, espere ter de responder pela informação.

Um benchmark sobre o próprio trabalho. O FinanceBench é o mais próximo das finanças: perguntas extraídas de documentos de empresas de capital aberto, com os autores revisando manualmente 2.400 respostas de modelos (arXiv). É um teste de perguntas e respostas, não de um produto específico que você possa comprar, e os modelos mudaram desde então. Mas ele deixa claro que as taxas de erro em perguntas financeiras realistas não eram pequenas.

As cinco camadas de controle de precisão

Bons controles se empilham. Nenhuma verificação isolada pega todos os tipos de erro, então coloque várias camadas entre o modelo e o razão.

1. Conferência com a fonte

Todo número que a IA produz é rastreado até um documento de origem ou registro do sistema: a fatura, o extrato bancário, o contrato, o saldo do razão. Para ferramentas de extração, isso significa refazer uma amostra contra o documento original. Para resumos e comentários, significa que o revisor clica em cada valor citado até chegar ao relatório de onde ele veio. Se a ferramenta não consegue mostrar a fonte de um número, o número não entra.

2. Conciliação e totais de controle

Os totais pegam o que as verificações linha a linha deixam passar, sobretudo as omissões silenciosas. Compare a contagem e a soma dos registros que entram com os que saem. Confira se as linhas de fatura extraídas somam o total da fatura, se os itens bancários conciliados mais os não conciliados igualam o saldo do extrato, se os razões auxiliares batem com o razão geral. Um total de controle é barato de construir e pega categorias inteiras de falha. Veja conciliação bancária com IA para entender como as ferramentas de conciliação mostram o que não conseguiram conciliar.

3. Limites e tolerâncias

Defina regras explícitas para quando a saída é aceita automaticamente, revisada ou rejeitada. Os gatilhos típicos incluem:

• Valor acima de um montante definido
• Pontuação de confiança abaixo de um nível definido
• Fornecedor novo, conta nova ou padrão inédito
• Variação em relação ao período anterior ou ao orçamento acima de um percentual definido
• Divergência de moeda, entidade ou período em relação ao registro

Escolha os limites a partir dos seus próprios dados de erro, não do padrão do fornecedor, e revise-os a cada trimestre. Se forem frouxos demais, os erros passam; se forem apertados demais, os revisores se afogam e passam a aprovar no automático.

4. Recálculo independente

Para tudo o que for numérico, recalcule fora do modelo. Use uma planilha, uma consulta ao banco de dados ou um mecanismo de regras para calcular o valor que a IA citou e compare. Essa é a resposta certa para a falha de aritmética ruim: deixe o modelo de linguagem redigir e explicar, e deixe o software determinístico fazer as contas. As explicações de variações são um bom exemplo. A narrativa pode ser redigida pela IA, mas cada número nela deve vir de uma consulta, como explicado em análise de variações com IA.

5. Revisão humana com escopo definido

"Uma pessoa revisa" não é um controle até que você diga o que ela examina, o que dispara a escalação e onde ela registra o resultado. Os reguladores bancários colocam assim na SR 26-2: o questionamento efetivo é uma análise crítica feita por especialistas objetivos, por pessoas com a expertise certa, independência suficiente para manter a objetividade e posição e influência para conseguir mudanças (Federal Reserve SR 26-2). Essa orientação foi escrita para os modelos dos bancos, mas o padrão se transfere: o seu revisor precisa de habilidade para enxergar um número errado, independência para dizê-lo e autoridade para barrar o lançamento.

Qual controle pega qual erro

Ajuste a intensidade do controle ao risco

Nem todo uso de IA merece o mesmo esforço. Uma ferramenta que redige o resumo de uma reunião interna precisa de um cuidado mais leve do que uma que propõe provisões ou posições fiscais. Classifique por camadas, conforme aquilo que a saída alimenta.

No nível alto, mantenha a IA totalmente fora dos direitos de aprovação. Uma ferramenta que prepara um lançamento não deve também liberá-lo. Pagamentos e outros fluxos sensíveis a fraude merecem o cuidado extra descrito em IA em contas a pagar.

Como implantar controles de precisão, passo a passo

1. Liste onde a IA toca em números. Inclua as ferramentas que membros da equipe adotaram por conta própria e os recursos de IA dentro de sistemas que você já tem. A SR 26-2 descreve um inventário abrangente de modelos como prática comum nos bancos, e o hábito vale ser copiado (Federal Reserve SR 26-2).
2. Classifique cada uso em um nível conforme aquilo que ele alimenta, usando a tabela acima.
3. Defina o "padrão correto" de cada uso. Qual fonte é a verdade? Na captura de faturas, é o documento; na conciliação, é o extrato bancário; em uma previsão, são os valores realizados quando chegarem.
4. Monte um conjunto de teste antes de entrar em produção. Reúna algumas centenas de casos reais e anonimizados, incluindo os difíceis: páginas digitalizadas, moedas incomuns, pagamentos parcelados. Avalie a ferramenta contra as respostas conhecidas.
5. Rode em paralelo. Mantenha o processo antigo funcionando por alguns ciclos, compare linha a linha e registre as diferenças e suas causas.
6. Adicione as camadas. Configure conferências, totais de controle, limites e recálculo como verificações automáticas sempre que possível, e escreva a etapa de revisão humana com o que inspecionar.
7. Registre tudo o que um revisor precisaria. Entradas, saídas, versão da ferramenta ou do prompt, revisor, o que foi verificado, o que foi alterado.
8. Monitore os resultados. A SR 26-2 descreve a análise de resultados como a comparação das saídas do modelo com os resultados do mundo real, o que pode revelar erros relevantes ou desvios persistentes (Federal Reserve SR 26-2). Acompanhe a taxa de erro e a taxa de correção por ferramenta e por mês; uma taxa de correção em alta é um sinal precoce de que a ferramenta saiu do rumo.
9. Controle as mudanças. Trate atualizações de modelo, edições de prompt e novas fontes de dados como mudanças que exigem novo teste.
10. Defina uma regra de parada. Decida com antecedência qual taxa de erro pausa a ferramenta e quem tem autoridade para pausá-la.

O Generative AI Profile do NIST (NIST AI 600-1), lançado em 26 de julho de 2024, é um complemento voluntário ao seu AI Risk Management Framework e uma fonte razoável de checklist se a sua área de risco quiser uma referência reconhecida (NIST).

Exemplos por função financeira

• Contas a pagar. A extração de faturas lê um total como 1.250,00 quando a fatura diz 12.500,00. Uma amostra de conferência e uma verificação da soma das linhas pegam o erro; um limite de pagamento dispara a revisão antes de o dinheiro sair.
• Fechamento mensal. Uma provisão redigida cita a taxa do trimestre passado. Uma comparação com o período anterior sinaliza o salto, e o revisor enxerga a entrada desatualizada.
• FP&A. Um comentário gerado diz que a receita subiu 12%, quando o razão mostra 9%. Uma regra de que todo número citado vem de uma consulta, e não do texto do modelo, elimina essa possibilidade.
• Tesouraria e previsão de caixa. Uma previsão se desvia à medida que o comportamento de pagamento muda. O backtest semanal contra o caixa realizado revela o problema.
• Impostos e receita. Um modelo resume uma norma e omite uma condição. O controle é a revisão técnica por uma pessoa qualificada, contra o texto da norma; aqui a velocidade não é o objetivo.

Erros comuns

• Revisar o resumo em vez da fonte. Um revisor que só lê a saída da IA não consegue pegar um número inventado.
• Confiar nas pontuações de confiança. Uma pontuação alta significa que o modelo está seguro, não que ele está certo. Calibre com os seus próprios resultados.
• Viés de automação. Depois de algumas semanas limpas, os revisores começam a passar o olho. Alterne as amostras e meça com que frequência os revisores de fato corrigem.
• Teste único. Um piloto que passou em março diz pouco sobre o comportamento após uma atualização de modelo em setembro.
• Deixar a IA checar a IA. Um segundo modelo pode ajudar na triagem, mas uma pessoa ou uma regra determinística precisa ser dona da conclusão.
• Limites que ninguém ajustou. Os padrões raramente se encaixam nos seus volumes e no seu risco. Defina-os a partir do seu próprio histórico de erros.
• Nenhuma regra de parada. Se ninguém tem autoridade para pausar uma ferramenta que falha, a ferramenta continua lançando.
• Dados frágeis por baixo. Dados mestres bagunçados e planos de contas inconsistentes dificultam todos os controles. A prontidão dos dados financeiros para IA cobre a base necessária.

O que medir

• Taxa de erro contra a fonte ou os valores realizados, por ferramenta e caso de uso
• Taxa de captura: parcela dos erros encontrados pelos controles versus encontrados após o lançamento
• Taxa de correção e os motivos apresentados pelos revisores
• Tempo de revisão por item, para identificar aprovação no automático ou sobrecarga
• Escapes: erros que chegaram ao razão ou a um relatório, e como passaram
• Cobertura de testes: parcela dos usos de IA com um conjunto de teste atual e um responsável nomeado

Próximos passos

Escolha o uso de IA da sua equipe que alimenta o número mais importante e coloque três verificações em torno dele neste mês: uma amostra de conferência, um total de controle e uma etapa de revisão escrita. Depois acrescente o acompanhamento de resultados, para descobrir a taxa de erro real em vez da do fornecedor. Para o quadro mais amplo de governança, pense em quem é dono de cada controle à medida que o trabalho passa entre pessoas e ferramentas.