Kontrol Akurasi untuk AI di Bidang Keuangan: Mencegah Angka yang Salah

Kontrol akurasi AI di bidang keuangan, digambarkan melalui pemeriksaan buku besar dengan tie-out ke sumber, buku besar, dan perhitungan ulang independen

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Kontrol akurasi untuk AI di bidang keuangan adalah pemeriksaan yang berada di antara output alat AI dan pembukuan, laporan, atau keputusan Anda: tie-out ke dokumen sumber, ambang batas toleransi, perhitungan ulang independen, rekonsiliasi, dan tinjauan manusia yang jelas. Tujuannya bukan untuk tidak memercayai alat tersebut. Masalahnya, angka salah yang fasih dan meyakinkan terlihat persis seperti angka yang benar, dan satu-satunya pembeda keduanya adalah pemeriksaan yang dirancang lebih dulu.

Panduan ini ditujukan bagi controller (kepala akuntansi), pemimpin FP&A, manajer keuangan, dan siapa pun yang menyetujui angka yang dihasilkan dengan bantuan alat AI. Jika Anda masih memilih di mana AI akan dipakai, mulailah dari kasus penggunaan AI di bidang keuangan. Jika Anda khawatir soal cakupan audit dan SOX, bacalah AI dan pengendalian internal berdampingan dengan artikel ini. Artikel ini adalah lapisan praktis di bawahnya: pemeriksaan mana yang menangkap kesalahan mana.

Fakta Utama

  • FinanceBench, tolok ukur yang dipublikasikan dengan 10.231 pertanyaan tentang perusahaan publik, menemukan bahwa GPT-4-Turbo yang dipakai dengan sistem retrieval menjawab salah atau menolak menjawab 81% pertanyaan dalam sampel 150 kasus milik para penulisnya (arXiv).
  • Bahkan konfigurasi terbaik yang diuji para penulis FinanceBench, yaitu GPT-4-Turbo dengan jendela konteks panjang, hanya benar pada 79% kasus, dan para penulis memperingatkan bahwa satuan yang salah, angka yang sudah usang, dan logika yang cacat "mungkin tidak tampak tanpa pemeriksaan yang mendetail" (makalah FinanceBench).
  • Dari 8.908 pertanyaan FinanceBench yang diklasifikasikan para penulis, 66% (5.897) melibatkan penalaran numerik, jenis perhitungan yang dilakukan tim keuangan setiap hari (makalah FinanceBench).
  • Panduan risiko model dari regulator bank AS (SR 26-2, diterbitkan April 2026 untuk menggantikan SR 11-7) memandang "effective challenge" oleh pakar yang objektif sebagai bagian dari manajemen risiko model yang sehat, dan menggambarkan analisis hasil, termasuk back-testing, sebagai cara membandingkan output model dengan hasil di dunia nyata (Federal Reserve SR 26-2).
  • Pada 2025, Deloitte mengembalikan lebih dari A$97.000 atas laporan pemerintah Australia yang semula bernilai sekitar A$440.000 setelah laporan itu terbukti memuat kutipan fiktif dan rujukan ke riset yang tidak ada (CFO Dive).

Mengapa AI Salah dalam Hal Angka

AI generatif memprediksi teks yang masuk akal. Ia tidak menghitung seperti spreadsheet, dan ia tidak "mengetahui" buku besar Anda kecuali Anda memberinya datanya. Hal itu menimbulkan beberapa pola kegagalan yang berulang kali dijumpai tim keuangan. Untuk istilahnya sendiri, lihat halusinasi AI.

Mengapa AI salah dalam angka keuangan, digambarkan melalui kaca pembesar yang menunjukkan periode, mata uang, dan skala

  • Konten karangan. Angka, kutipan, atau akun yang tidak ada, disampaikan dengan penuh keyakinan.
  • Angka benar, konteks salah. Angka yang benar tetapi dari periode, entitas, mata uang, atau skala yang keliru (ribuan versus jutaan).
  • Aritmetika atau logika yang keliru. Langkah-langkah yang tampak bernalar tetapi tidak berjumlah.
  • Penghilangan diam-diam. Satu baris terlewat dari ringkasan atau rekonsiliasi, tanpa tanda apa pun yang menandai celahnya.
  • Drift. Perilaku yang berubah setelah pembaruan vendor, penyuntingan prompt, atau sumber data baru.

Para penulis FinanceBench menggambarkan polanya dengan baik. Model sering memberikan jawaban yang "tampak koheren dan seolah beralasan kuat, kadang dengan perhitungan dan langkah penalaran yang panjang, namun tetap salah" (makalah FinanceBench). Itulah jenis kesalahan yang berbahaya: lolos dari pandangan sekilas. Retrieval bisa membantu, karena membumikan model pada dokumen Anda adalah gagasan di balik retrieval-augmented generation, tetapi hasil tolok ukur itu menunjukkan bahwa retrieval saja tidak membuat output aman untuk dibukukan.

Kasus yang Terdokumentasi: Biaya Output yang Tidak Diperiksa

Tidak satu pun dari kasus ini adalah proses tutup buku sebuah tim keuangan, tetapi masing-masing merupakan catatan publik tentang apa yang terjadi ketika output AI keluar tanpa pemeriksaan yang sungguh-sungguh.

Laporan konsultasi dengan rujukan fiktif. Laporan senilai A$440.000 untuk Departemen Ketenagakerjaan dan Hubungan Kerja Australia memuat kutipan fiktif dari putusan pengadilan federal dan rujukan ke makalah akademik yang tidak ada. Deloitte mengembalikan lebih dari A$97.000, kurang dari seperempat biayanya, dan departemen menyatakan substansi tinjauan tetap dipertahankan (CFO Dive). Pelajaran bagi keuangan: hasil kerja profesional bisa membawa karangan AI ke tangan klien, dan harganya adalah pengembalian dana ditambah kerusakan reputasi.

Kutipan palsu dalam berkas pengadilan. Dalam perkara Mata v. Avianca, pengadilan federal New York menjatuhkan sanksi kepada pengacara yang mengajukan berkas berisi perkara buatan ChatGPT yang tidak pernah ada. Putusan 22 Juni 2023 menjatuhkan denda $5.000 secara tanggung renteng kepada firma dan para pengacara, dengan menyimpulkan adanya itikad buruk berdasarkan penghindaran yang disengaja dan pernyataan yang menyesatkan. Pengadilan juga menyatakan bahwa memakai alat AI yang andal pada dasarnya tidak salah, tetapi pengacara harus bertindak sebagai penjaga gerbang akurasi (Reed Smith). Logika yang sama berlaku bagi siapa pun yang menandatangani dokumen pengajuan, rekonsiliasi, atau laporan manajemen.

Chatbot yang keliru menyatakan kebijakan. Dalam perkara Moffatt v. Air Canada (2024 BCCRT 149), tribunal di British Columbia menyatakan maskapai bertanggung jawab atas saran tarif duka cita yang salah dari chatbot miliknya sendiri, yang bertentangan dengan halaman lain di situs web maskapai. Tribunal menulis bahwa "seharusnya jelas bagi Air Canada bahwa mereka bertanggung jawab atas seluruh informasi di situs web mereka" (McCarthy Tetrault). Jika chatbot keuangan memberi tahu karyawan batas penggantian biaya yang salah atau memberi tahu vendor tanggal pembayaran yang salah, bersiaplah untuk menanggung jawabannya.

Tolok ukur pada pekerjaan itu sendiri. FinanceBench adalah yang paling dekat dengan keuangan: pertanyaan yang diambil dari dokumen pelaporan perusahaan publik, dengan para penulis meninjau secara manual 2.400 jawaban model (arXiv). Ini adalah uji tanya jawab, bukan uji produk tertentu yang mungkin Anda beli, dan model sudah berubah sejak itu. Namun ia menegaskan bahwa tingkat kesalahan pada pertanyaan keuangan yang realistis tidaklah kecil.

Lima Lapisan Kontrol Akurasi

Kontrol yang baik saling bertumpuk. Tidak ada satu pemeriksaan pun yang menangkap semua jenis kesalahan, jadi tempatkan beberapa lapisan di antara model dan buku besar.

Lima lapisan kontrol akurasi AI, digambarkan melalui layar berlapis yang menunjukkan tie-out, total kontrol, dan ambang batas

1. Tie-out ke sumber

Setiap angka yang dihasilkan AI ditelusuri kembali ke dokumen sumber atau catatan sistem: faktur, rekening koran, kontrak, saldo buku besar. Untuk alat ekstraksi, itu berarti melakukan ulang sampel terhadap dokumen aslinya. Untuk ringkasan dan komentar, itu berarti peninjau mengklik dari setiap angka yang dinyatakan menuju laporan asalnya. Jika alat tidak bisa menunjukkan sumber sebuah angka, angka itu tidak boleh masuk.

2. Rekonsiliasi dan total kontrol

Total menangkap apa yang terlewat oleh pemeriksaan baris demi baris, terutama penghilangan diam-diam. Bandingkan jumlah dan total catatan yang masuk dengan yang keluar. Periksa bahwa baris faktur yang diekstraksi berjumlah sama dengan total faktur, bahwa item bank yang cocok ditambah item yang tidak cocok sama dengan saldo rekening koran, dan bahwa buku besar pembantu sesuai dengan buku besar. Total kontrol murah dibuat dan menangkap seluruh kategori kegagalan. Lihat rekonsiliasi bank dengan AI untuk melihat bagaimana alat pencocokan menampilkan apa yang tidak berhasil mereka cocokkan.

3. Ambang batas dan toleransi

Tetapkan aturan eksplisit kapan output diterima otomatis, ditinjau, atau ditolak. Pemicu yang umum meliputi:

  • Jumlah di atas nilai tertentu
  • Skor keyakinan di bawah tingkat tertentu
  • Vendor baru, akun baru, atau pola yang baru pertama kali muncul
  • Varians terhadap periode sebelumnya atau anggaran melebihi persentase tertentu
  • Ketidaksesuaian mata uang, entitas, atau periode terhadap catatan

Pilih ambang batas dari data kesalahan Anda sendiri, bukan dari bawaan vendor, dan tinjau ulang setiap kuartal. Terlalu longgar, kesalahan lolos; terlalu ketat, peninjau kewalahan dan mulai asal mengeklik setuju.

4. Perhitungan ulang independen

Untuk apa pun yang bersifat numerik, hitung ulang di luar model. Gunakan spreadsheet, kueri basis data, atau mesin aturan untuk menghitung angka yang dikutip AI, lalu bandingkan. Inilah jawaban yang tepat untuk kegagalan aritmetika: biarkan model bahasa menyusun draf dan menjelaskan, dan biarkan perangkat lunak deterministik yang menghitung. Penjelasan varians adalah contoh yang baik. Narasinya boleh disusun AI, tetapi setiap angka di dalamnya harus ditarik lewat kueri, seperti dibahas dalam analisis varians dengan AI.

5. Tinjauan manusia dengan cakupan yang jelas

"Ada orang yang meninjaunya" bukanlah kontrol sampai Anda menyatakan apa yang mereka periksa, apa yang memicu eskalasi, dan di mana mereka mencatat hasilnya. Regulator bank merumuskannya begini dalam SR 26-2: effective challenge adalah analisis kritis oleh pakar yang objektif, dilakukan oleh orang dengan keahlian yang tepat, independensi yang cukup untuk tetap objektif, serta kedudukan dan pengaruh untuk mewujudkan perubahan (Federal Reserve SR 26-2). Panduan itu ditulis untuk model milik bank, tetapi standarnya berlaku juga bagi Anda: peninjau Anda perlu keahlian untuk mengenali angka yang salah, independensi untuk mengatakannya, dan wewenang untuk menghentikan pembukuan.

Kontrol Mana yang Menangkap Kesalahan Mana

Jenis kesalahan Contoh Kontrol yang paling sesuai
Konten karangan Akun, vendor, atau standar yang dikutip padahal tidak ada Tie-out ke sumber; pencarian terhadap data induk
Skala atau mata uang salah Ribuan terbaca sebagai jutaan; EUR diperlakukan sebagai USD Pemeriksaan toleransi terhadap periode sebelumnya; validasi satuan dan mata uang
Kesalahan aritmetika Subtotal yang tidak berjumlah Perhitungan ulang independen; total kontrol
Periode atau entitas salah Angka Q2 ditempatkan dalam ringkasan Q3 Pencocokan periode dan entitas terhadap catatan
Penghilangan diam-diam Satu baris hilang dari rekonsiliasi Jumlah catatan dan total kontrol masuk versus keluar
Komentar yang masuk akal tetapi tanpa dasar Penjelasan varians tanpa landasan Peninjau menelusuri setiap klaim ke buku besar
Drift dari waktu ke waktu Akurasi menurun setelah pembaruan vendor Analisis hasil; pemantauan tingkat override; kontrol perubahan

Sesuaikan Intensitas Kontrol dengan Risikonya

Tidak setiap penggunaan AI layak mendapat upaya yang sama. Alat yang menyusun ringkasan rapat internal butuh sentuhan yang lebih ringan daripada alat yang mengusulkan akrual atau posisi pajak. Susun berjenjang menurut apa yang disentuh outputnya.

Kontrol AI keuangan berbasis risiko, digambarkan melalui gerbang bertingkat yang menunjukkan draf berisiko rendah, pelaporan manajemen, dan pembukuan ke buku besar

Jenjang Apa yang disuplai output Kontrol minimum
Rendah Draf internal, brainstorming, catatan riset Pemeriksaan acak; tanpa pembukuan langsung
Menengah Pelaporan manajemen, prakiraan, komentar Tie-out ke sumber, perhitungan ulang independen, peninjau yang ditunjuk
Tinggi Pembukuan ke buku besar, pembayaran, dokumen pengajuan, estimasi Kelima lapisan, pemisahan penyusun dan penyetuju, bukti yang dicatat, pengujian hasil

Untuk jenjang tinggi, jauhkan AI sepenuhnya dari hak persetujuan. Alat yang menyiapkan sebuah entri tidak boleh sekaligus merilisnya. Pembayaran dan alur lain yang rawan penipuan layak mendapat kehati-hatian ekstra yang dibahas dalam AI di utang usaha.

Cara Menerapkan Kontrol Akurasi, Langkah demi Langkah

  1. Daftarkan di mana AI menyentuh angka. Sertakan alat yang diadopsi sendiri oleh anggota tim dan fitur AI di dalam sistem yang sudah Anda miliki. SR 26-2 menyebut inventaris model yang komprehensif sebagai praktik umum di bank, dan kebiasaan itu layak ditiru (Federal Reserve SR 26-2).
  2. Jenjangkan setiap penggunaan menurut apa yang disuplainya, memakai tabel di atas.
  3. Tentukan "yang sudah pasti benar" untuk setiap penggunaan. Sumber mana yang menjadi kebenaran? Untuk pengambilan data faktur, dokumennya; untuk rekonsiliasi, rekening koran; untuk prakiraan, angka aktual begitu tersedia.
  4. Bangun set pengujian sebelum go-live. Kumpulkan beberapa ratus kasus nyata yang dianonimkan, termasuk yang buruk: halaman hasil pindai, mata uang tak lazim, pembayaran terpisah. Nilai alat terhadap jawaban yang sudah diketahui.
  5. Jalankan secara paralel. Biarkan proses lama tetap berjalan selama beberapa siklus, bandingkan baris demi baris, dan catat perbedaan beserta penyebabnya.
  6. Tambahkan lapisan-lapisannya. Pasang tie-out, total kontrol, ambang batas, dan perhitungan ulang sebagai pemeriksaan otomatis sejauh mungkin, dan tuliskan langkah tinjauan manusia beserta apa yang harus diperiksa.
  7. Catat semua yang dibutuhkan peninjau. Input, output, versi alat atau prompt, peninjau, apa yang diperiksa, apa yang di-override.
  8. Pantau hasilnya. SR 26-2 menggambarkan analisis hasil sebagai membandingkan output model dengan hasil di dunia nyata, yang dapat mengungkap kesalahan material atau penyimpangan yang menetap (Federal Reserve SR 26-2). Lacak tingkat kesalahan dan tingkat override per alat dan per bulan; tingkat override yang naik adalah tanda awal bahwa alat telah mengalami drift.
  9. Kendalikan perubahan. Perlakukan peningkatan model, penyuntingan prompt, dan sumber data baru sebagai perubahan yang memicu pengujian ulang.
  10. Tetapkan aturan berhenti. Putuskan sejak awal tingkat kesalahan berapa yang menghentikan alat, dan siapa yang berwenang menghentikannya.

Generative AI Profile dari NIST (NIST AI 600-1), dirilis 26 Juli 2024, adalah pendamping sukarela bagi AI Risk Management Framework mereka dan layak menjadi sumber daftar periksa jika tim risiko Anda menginginkan acuan yang diakui (NIST).

Contoh menurut Fungsi Keuangan

  • Utang usaha (accounts payable). Ekstraksi faktur membaca total sebagai 1.250,00 padahal faktur tertulis 12.500,00. Sampel tie-out dan pemeriksaan jumlah baris menangkapnya; ambang batas pembayaran memicu tinjauan sebelum uang berpindah.
  • Tutup buku akhir bulan. Draf akrual mengutip tarif kuartal lalu. Perbandingan dengan periode sebelumnya menandai lonjakan, dan peninjau melihat input yang usang itu.
  • FP&A. Komentar yang dihasilkan menyebut pendapatan naik 12% padahal buku besar menunjukkan 9%. Aturan bahwa setiap angka yang dinyatakan berasal dari kueri, bukan dari teks model, menghilangkan kemungkinan itu.
  • Treasury dan prakiraan kas. Prakiraan menyimpang seiring perubahan perilaku pembayaran. Back-testing terhadap kas aktual setiap minggu mengungkapnya.
  • Pajak dan pendapatan. Model meringkas sebuah standar dan melewatkan satu syarat. Tinjauan teknis oleh orang yang kompeten terhadap teks standar adalah kontrolnya; kecepatan bukan tujuan di sini.

Kesalahan Umum

  • Meninjau ringkasan, bukan sumbernya. Peninjau yang hanya membaca output AI tidak bisa menangkap angka karangan.
  • Memercayai skor keyakinan. Skor tinggi berarti model yakin, bukan bahwa ia benar. Kalibrasikan terhadap hasil Anda sendiri.
  • Bias otomatisasi. Setelah beberapa minggu yang bersih, peninjau mulai membaca sekilas. Rotasikan sampel dan ukur seberapa sering peninjau benar-benar melakukan override.
  • Pengujian satu kali. Pilot yang lolos pada Maret tidak banyak berbicara tentang perilaku setelah pembaruan model September.
  • Membiarkan AI memeriksa AI. Model kedua dapat membantu memilah, tetapi seseorang atau aturan deterministik harus memegang kesimpulannya.
  • Ambang batas yang tidak pernah disetel. Nilai bawaan jarang sesuai dengan volume dan risiko Anda. Tetapkan dari riwayat kesalahan Anda sendiri.
  • Tanpa aturan berhenti. Jika tidak ada yang berwenang menghentikan alat yang gagal, alat itu terus membukukan.
  • Data dasar yang lemah. Data induk yang berantakan dan bagan akun yang tidak konsisten membuat setiap kontrol lebih sulit. Kesiapan data keuangan membahas fondasinya.

Apa yang Perlu Diukur

  • Tingkat kesalahan terhadap sumber atau angka aktual, per alat dan kasus penggunaan
  • Tingkat tangkapan: porsi kesalahan yang ditemukan oleh kontrol dibandingkan yang ditemukan setelah dibukukan
  • Tingkat override beserta alasan yang diberikan peninjau
  • Waktu tinjauan per item, untuk mendeteksi menyetujui tanpa memeriksa atau beban berlebih
  • Kebocoran: kesalahan yang sampai ke buku besar atau laporan, dan bagaimana mereka lolos
  • Cakupan pengujian: porsi penggunaan AI yang memiliki set pengujian terkini dan pemilik yang ditunjuk

Langkah Selanjutnya

Pilih satu penggunaan AI di tim Anda yang menyuplai angka terpenting, dan pasang tiga pemeriksaan di sekelilingnya bulan ini: sampel tie-out, total kontrol, dan langkah tinjauan tertulis. Lalu tambahkan pelacakan hasil, supaya Anda mengetahui tingkat kesalahan yang sebenarnya, bukan versi vendor. Untuk gambaran tata kelola yang lebih luas, pikirkan siapa yang memegang setiap kontrol seiring pekerjaan berpindah antara orang dan alat.

Pertanyaan yang Sering Diajukan tentang Kontrol Akurasi untuk AI di Bidang Keuangan

Apa kontrol akurasi terpenting untuk AI di bidang keuangan?

Tie-out ke sumber, karena ia menguji hal yang paling penting: apakah angka itu cocok dengan dokumen atau catatan buku besar yang diklaim sebagai asalnya? Padukan dengan total kontrol, yang menangkap penghilangan yang terlewat oleh pemeriksaan tingkat baris.

Bisakah retrieval dari dokumen kami sendiri mencegah AI membuat kesalahan?

Retrieval mengurangi kesalahan tetapi tidak menghilangkannya. Dalam studi FinanceBench, GPT-4-Turbo dengan sistem retrieval menjawab salah atau menolak menjawab 81% pertanyaan dalam sampel para penulis, sehingga output yang berbasis dokumen tetap perlu diperiksa.

Seberapa sering manusia perlu meninjau output AI di bidang keuangan?

Tergantung jenjangnya. Output yang dibukukan ke buku besar, memindahkan uang, atau masuk ke dokumen pengajuan harus ditinjau setiap kali oleh orang yang ditunjuk. Draf berisiko lebih rendah dapat disampel, dengan laju sampel dinaikkan setiap kali data kesalahan atau perubahan model menghendakinya.

Cukupkah jika model AI kedua memeriksa yang pertama?

Tidak cukup dengan sendirinya. Model kedua dapat memilah item untuk ditinjau, tetapi keduanya bisa salah dengan cara yang mirip. Perhitungan ulang deterministik atau orang yang berwenang menantang hasilnya harus memegang kesimpulan.

Adakah contoh nyata kesalahan AI yang menimbulkan konsekuensi?

Ada. Pengadilan federal menjatuhkan sanksi kepada pengacara karena kutipan perkara palsu buatan ChatGPT, sebuah tribunal menyatakan Air Canada bertanggung jawab atas saran tarif yang salah dari chatbot-nya, dan Deloitte mengembalikan sebagian biaya dari pemerintah setelah laporan memuat rujukan fiktif.

Apakah kontrol ini berlaku untuk tim keuangan kecil?

Ya, dalam bentuk yang lebih ringan. Tim kecil dapat menjalankan sampel tie-out bulanan, menyimpan total kontrol di spreadsheet, dan mewajibkan orang kedua menyetujui apa pun yang dibukukan. Prinsipnya sama: jangan pernah biarkan angka AI yang belum diperiksa masuk ke pembukuan.

About the author

JH

Jane Ha

Head of Finance Strategy

Jane Ha is Head of Finance Strategy at Rework, helping CFOs and finance leaders turn strategy into numbers their boards trust. With 5+ years in SaaS finance and FP&A advising 50+ B2B companies, Jane shows readers how to read their own unit economics honestly, plan cash flow with confidence, and focus on the SaaS metrics that move enterprise value.