Medindo a IA em finanças: tempo de fechamento, custo por fatura e acurácia da previsão
Turn this article into takeaways for your work.
Each assistant summarizes the article only for you and suggests best practices for your work.
Medir a IA em finanças significa escolher um pequeno conjunto de métricas operacionais em que finanças já confia (dias para o fechamento, custo por fatura, erro de previsão), registrar cada uma antes de a ferramenta entrar no ar e comparar depois com a mesma definição. A ferramenta em si raramente é a parte difícil. A parte difícil é provar, a um CFO ou a um auditor, que o número se moveu por causa da IA e não por causa de um trimestre tranquilo, de uma nova contratação ou de uma definição alterada.
Este guia é para controllers, diretores financeiros e líderes de FP&A que têm um ou mais pilotos de IA em andamento, ou prestes a começar, e precisam relatar resultados. Ele se baseia nos guias de processo sobre o fechamento mensal, as contas a pagar e o FP&A. Se você está no início da jornada, a questão mais ampla de por que o ROI da IA é difícil de provar é uma boa leitura complementar.
Fatos Principais
- A pesquisa de benchmarking de Contabilidade Geral da APQC, relatada pela CFO.com em 2018, colocou os 25% melhores das organizações em 4,8 dias corridos ou menos para o fechamento, a mediana em 6,4 dias e os 25% piores em 10 dias ou mais, entre 2.300 respondentes (CFO.com).
- Nessa medida, o tempo de ciclo vai da execução do balancete até a conclusão das demonstrações financeiras consolidadas e conta tanto o trabalho ativo quanto o tempo de espera (CFO.com).
- O relatório State of ePayables 2025 da Ardent Partners, baseado em 204 líderes de contas a pagar e de finanças, colocou as equipes de contas a pagar de classe mundial em $2,65 por fatura contra uma média de $12,42 (Ardent Partners).
- As orientações dos manuais de previsão definem o MAPE como a média dos erros percentuais absolutos e alertam que as medidas percentuais são infinitas ou indefinidas quando um valor real é zero e instáveis quando ele está próximo de zero (Hyndman e Athanasopoulos).
- O mesmo texto diz que um conjunto de teste deveria, idealmente, ser pelo menos tão grande quanto o horizonte de previsão mais longo de que você precisa, e descreve a avaliação com origem móvel, em que cada previsão usa apenas dados anteriores (Hyndman e Athanasopoulos).
Por que as equipes financeiras precisam de um plano de medição antes do piloto
A maioria dos pilotos de IA em finanças é avaliada pela impressão. O assistente de contas a pagar diz que está mais rápido, o controller diz que o fechamento "pareceu mais tranquilo" e, seis meses depois, ninguém sabe dizer quanto. Isso é um problema por dois motivos.
Primeiro, o orçamento. Uma ferramenta que não consegue mostrar resultado é cortada no próximo ciclo de planejamento, mesmo que estivesse ajudando. Segundo, os controles. Se uma etapa de IA toca os relatórios financeiros, você precisará de evidência de que ela opera dentro de uma tolerância, o que o guia de controles internos lista como resultados de backtest e de acurácia. A medição cumpre dupla função.
A boa notícia é que finanças já tem métricas bem compreendidas. Você não precisa de um novo scorecard de IA. Precisa do scorecard antigo com linhas de base limpas.
As três métricas âncora
Tempo de fechamento
O tempo de fechamento é o número de dias corridos entre a execução do balancete e a conclusão das demonstrações financeiras consolidadas. Essa é a definição por trás da medida da APQC acima, e ela inclui o tempo de espera, não apenas o trabalho direto.
A dispersão do benchmark é um contexto útil. Uma mediana de 6,4 dias, com o quartil superior em 4,8 ou menos e o quartil inferior em 10 ou mais, significa que a distância entre um bom fechamento e um lento é de vários dias. Mas é um relatório de 2018 sobre uma pergunta de pesquisa, então use-o para se situar de forma aproximada, não para definir uma meta. A sua própria tendência importa mais do que a mediana de qualquer pessoa.
O que a IA deve mover: as horas de conciliação e de correspondência, o número de lançamentos contábeis manuais, o tempo gasto correndo atrás de demonstrativos e os ajustes pós-fechamento. O que ela não deve mover por conta própria: as etapas de aprovação formal, que continuam sendo feitas por pessoas.
Custo por fatura
O custo por fatura é o custo totalmente alocado de executar o processo de contas a pagar em um período dividido pelo número de faturas processadas nesse período. "Totalmente alocado" é onde as equipes divergem. Algumas contam apenas os salários da equipe de contas a pagar; outras acrescentam software, tarifas bancárias, custos indiretos e o tempo dos aprovadores de outros departamentos.
Os números da Ardent dão uma ideia da dispersão: $2,65 para as equipes de classe mundial contra uma média de $12,42. Não copie esses números para o seu business case. A amostra, o mix de faturas e a definição de custo do relatório não vão coincidir com os seus. Se um fornecedor citar um benchmark, pergunte o que está dentro do número. Os componentes de custo são seus para definir, e a única regra é usar os mesmos antes e depois.
O que a IA deve mover: o tempo de manuseio por fatura, a parcela de faturas que exigem codificação manual, o tempo de tratamento de exceções e os pagamentos duplicados detectados. O volume também importa. Se o número de faturas dobra depois de uma aquisição, o custo total pode subir enquanto o custo por fatura cai, o que é aceitável, mas diga isso no relatório.
Acurácia da previsão
A acurácia da previsão é o quão perto a previsão ficou do que aconteceu, medida em dados que o modelo não tinha visto. As medidas dos manuais são o erro absoluto médio (MAE), a raiz do erro quadrático médio (RMSE) e o erro percentual absoluto médio (MAPE). O MAPE é popular em finanças porque é um percentual, mas ele perde a validade perto de zero, e é por isso que serve melhor para a receita do que para o fluxo de caixa líquido. Para uma linha que cruza o zero, use o MAE ou uma medida escalonada. O guia de previsão de fluxo de caixa trata dessa escolha com mais detalhes.
Dois hábitos tornam as métricas de previsão honestas. Avalie em períodos reservados, nunca no histórico ao qual o modelo foi ajustado, porque a acurácia ajustada sempre parece melhor do que a acurácia real. E compare com uma linha de base ingênua, como "o próximo mês é igual ao mesmo mês do ano passado". Se um modelo de IA não consegue superá-la nos seus dados, ele não se justifica. O guia de FP&A explica por que métodos mais simples muitas vezes se sustentam.
O que a IA deve mover: o erro por linha e por horizonte, o viés (se você prevê consistentemente acima ou abaixo do real) e os dias entre o fim do período e um pacote de previsão concluído.
A tabela de medição
Use-a como esqueleto de um scorecard de uma página. Acrescente linhas para os seus próprios processos.
| Métrica | Definição / fórmula | Método da linha de base | O que a IA deve mover |
|---|---|---|---|
| Tempo de fechamento | Dias corridos do balancete às demonstrações consolidadas, incluindo a espera | Últimos 6 a 12 fechamentos, mesma definição, excluindo fechamentos trimestrais e anuais, a menos que você os acompanhe separadamente | Horas de conciliação, lançamentos manuais, tempo correndo atrás de demonstrativos; os dias devem cair |
| Lançamentos contábeis manuais por fechamento | Contagem de lançamentos feitos à mão | Contagem no razão para os mesmos fechamentos | Menos lançamentos, à medida que correspondências e provisões passam a ser sugeridas |
| Ajustes pós-fechamento | Lançamentos registrados depois de o fechamento ser declarado concluído | Lançamentos do razão com data posterior à data de fechamento | Não devem subir; uma alta sinaliza velocidade à custa da qualidade |
| Custo por fatura | Custo totalmente alocado de contas a pagar no período / faturas processadas no período | Um trimestre de custo e volume, com os componentes de custo escritos | Tempo de manuseio, parcela de codificação manual, tratamento de exceções |
| Taxa de touchless | Faturas lançadas sem edição humana / total de faturas | Amostra do log do sistema com faturas recentes | Deve subir, junto com a acurácia |
| Acurácia dos campos e taxa de correção | Campos alterados por um revisor / campos extraídos | Amostra do revisor nas suas próprias faturas | A taxa de correção deve cair com o tempo |
| Erro de previsão (MAE, MAPE) | Média dos erros absolutos ou dos erros percentuais absolutos | Previsão ingênua e método atual pontuados nos mesmos períodos reservados | Erro em relação às duas linhas de base, por linha e por horizonte |
| Viés da previsão | Erro médio com sinal | Mesmos períodos reservados | Deve se aproximar de zero |
| Tempo do ciclo de previsão | Dias do fim do período até o pacote de previsão concluído | Últimos 6 ciclos | Os dias devem cair |
| Taxa de substituição | Itens em que uma pessoa alterou a saída da IA / total de itens | Começa no lançamento do piloto | Alta no início, caindo à medida que a confiança e o ajuste melhoram |
Como definir uma linha de base, passo a passo
Escolha um processo e duas ou três métricas. Resista à tentação de medir tudo. Tempo de fechamento e número de lançamentos manuais para o fechamento, custo por fatura e taxa de touchless para contas a pagar, erro e viés para uma linha de previsão.
Escreva a definição. Onde o relógio começa e para? Quais custos entram? Quais faturas são excluídas? Um parágrafo agora evita uma discussão depois.
Levante o histórico. Use pelo menos seis períodos, sempre que possível, para que um mês atípico não defina a linha de base. Anote qualquer fato incomum: uma aquisição, uma migração de sistema, um mês com muitos feriados.
Registre-a antes de alguém mudar o processo. Os pilotos costumam começar com entusiasmo e sem um instantâneo. O guia de prontidão dos dados é o lugar para verificar se os dados de origem de cada métrica estão limpos o bastante para merecer confiança.
Acrescente uma comparação ingênua. Para previsões, pontue a previsão "igual ao ano passado" ou "último valor" nos mesmos períodos. Para o fechamento, a comparação é simplesmente a tendência do ano passado.
Execute em paralelo sempre que puder. Por alguns ciclos, deixe o processo antigo e o assistido por IA rodarem lado a lado. Compare linha por linha. Isso também é o que os seus auditores vão querer ver.
Reserve o teste. Para previsões, mantenha períodos recentes sem que o modelo os veja, pelo menos tão longos quanto o seu horizonte mais longo, e use a avaliação com origem móvel, de modo que cada previsão veja apenas dados anteriores.
Relate em um cronograma fixo. As mesmas métricas, as mesmas definições, a cada ciclo. Coloque a linha de base ao lado do número atual sempre.
Exemplos por função
Controller, fechamento mensal. Imagine uma empresa de médio porte cujo controller registra os dias corridos e os lançamentos contábeis manuais dos últimos oito fechamentos e anota a faixa. Depois de acrescentar a correspondência automatizada em contas bancárias e de intercompany, o controller acompanha os mesmos dois números mais os ajustes pós-fechamento. A meta é dias em queda, lançamentos manuais em queda e ajustes estáveis. Ajustes estáveis são o que torna crível um fechamento mais rápido.
Gerente de contas a pagar. Uma equipe conta seu volume mensal de faturas e anota cada custo que está incluindo: salários de contas a pagar, software, tarifas bancárias e uma fração do tempo de compras. Depois de implantar a captura de documentos, ela relata o custo por fatura, a taxa de touchless e a taxa de correção dos revisores. A taxa de correção é o alerta antecipado. Se a taxa de touchless sobe enquanto as correções sobem junto, a ferramenta está empurrando os erros para a etapa seguinte.
Líder de FP&A. A equipe pontua sua previsão de receita atual, uma previsão sazonal ingênua e um modelo de aprendizado de máquina nos últimos 12 meses de dados reservados. Digamos que o modelo supere a linha de base ingênua em algumas linhas de produto e perca em outras. A equipe o implanta onde ele vence e mantém o método existente nas demais. Um resultado misto relatado com honestidade vale mais do que um genérico "a IA melhorou a acurácia".
Erros comuns
Nenhuma linha de base. A falha mais comum. Sem um número de antes, todo resultado é uma anedota.
Mudar a definição no meio do projeto. Se o "fechamento" passa a começar em outra etapa depois do lançamento, os dias economizados são em parte um truque contábil.
Medir velocidade sem qualidade. Um fechamento mais rápido com mais ajustes pós-fechamento, ou faturas mais rápidas com mais pagamentos duplicados, não é melhoria. Sempre combine uma métrica de velocidade com uma métrica de qualidade. O guia de controles de acurácia trata do lado da qualidade.
Pontuar uma previsão nos dados de treinamento. A acurácia ajustada superestima a acurácia real.
Usar o MAPE quando os valores reais chegam a zero. O fluxo de caixa líquido e as linhas de custo pequenas produzem percentuais enganosos. Escolha uma medida que lide com eles.
Tomar emprestado um benchmark sem a sua definição. O "custo médio por fatura" de um fornecedor pode contar custos diferentes dos seus. Compare o que é comparável ou não compare.
Atribuir tudo à IA. Sazonalidade, mudanças de volume, novos funcionários e faxinas de processo movem esses números. Sempre que possível, mantenha um grupo de controle, como uma entidade ou linha de produto sem a ferramenta.
Diluir a história na média. Relate por linha, entidade ou tipo de fatura. Uma boa média pode esconder um segmento em que a ferramenta vai mal.
Ignorar o lado do custo. Software, implantação, tempo de revisão e retrabalho pertencem ao ROI.
O que fazer neste trimestre
Escolha um processo. Escreva em linguagem simples a definição de duas métricas, levante seis períodos de histórico e pontue uma comparação ingênua. São uma semana de trabalho e transformam o próximo piloto de uma história em um resultado. Depois combine, antes do lançamento, qual resultado conta como sucesso e o que faria você parar.
Head of Finance Strategy