Kebolehjelasan dan Kebolehauditan AI dalam Kewangan

Oleh Jane Ha · Dikemas kini 11 Oktober 2026

Kebolehjelasan dan kebolehauditan AI dalam kewangan bermaksud dua janji yang berasingan: anda boleh menyatakan mengapa sistem menghasilkan sesuatu keputusan tertentu (kebolehjelasan), dan anda boleh membuktikan kemudian apa yang telah dilakukan sistem itu, dengan input yang mana, di bawah versi yang mana, dan siapa yang menyemaknya (kebolehauditan). Pengawal selia, juruaudit dan pelanggan masing-masing bergantung pada separuh yang berbeza. Pemohon kredit mahukan sebab penolakan. Juruaudit mahukan jejak bukti. Pasukan risiko model mahukan kedua-duanya, serta bukti bahawa seseorang yang bebas telah mencabar model tersebut.

Panduan ini ditujukan kepada CFO, pengawal kewangan (controller), ketua risiko dan pengurus kewangan yang sedang memperkenalkan AI dalam kerja kredit, penipuan, ramalan, penutupan akaun atau pelaporan. Jika anda mahukan takrifan teknik itu sendiri dalam bahasa mudah, baca Apakah AI boleh dijelaskan?. Artikel ini membincangkan bahagian khusus kewangan: apa yang perlu dijelaskan, kepada siapa, dan apa yang perlu ada dalam fail.

Fakta Utama

• Regulation B menetapkan bahawa penyata sebab bagi tindakan kredit yang menjejaskan pemohon "mesti khusus dan menyatakan sebab utama", dan penyata yang berasaskan piawaian dalaman atau ambang skor kredit yang gagal tidak mencukupi (12 CFR 1002.9).
• Panduan risiko model antara agensi April 2026, SR 26-2, menggantikan SR 11-7 dan dijangka paling relevan kepada organisasi perbankan yang mempunyai jumlah aset melebihi $30 bilion (Federal Reserve).
• Panduan itu meletakkan model AI generatif dan agentik di luar skopnya, manakala prinsipnya terpakai kepada model statistik tradisional dan AI bukan generatif serta bukan agentik (lampiran SR 26-2).
• EU AI Act mengelaskan sistem AI yang bertujuan menilai kelayakan kredit individu atau menetapkan skor kredit mereka sebagai berisiko tinggi, dan menghendaki sistem sedemikian membenarkan perekodan peristiwa (log) secara automatik sepanjang hayatnya (Annex III, Article 12).
• NIST membezakan dua idea ini: kebolehjelasan ialah gambaran mekanisme yang mendasari operasi sesuatu sistem, manakala kebolehtafsiran ialah makna outputnya dalam konteks tujuan reka bentuknya (NIST AI RMF 1.0).

Mengapa Kewangan Menetapkan Piawaian yang Lebih Tinggi untuk AI

Kebanyakan fungsi perniagaan boleh menerima model yang berfungsi tetapi tidak dapat menyatakan sebabnya. Kewangan kebanyakannya tidak boleh, atas tiga sebab.

Keputusan membawa kewajipan undang-undang. Apabila pemberi pinjaman menolak seorang pemohon, peraturan AS menghendaki sebab yang khusus. Sebab itu mesti mencerminkan apa yang benar-benar mendorong keputusan tersebut, bukan label generik.

Angka menjadi sumber penyata yang dipercayai orang. Jika model menetapkan rizab, menyediakan draf penjelasan analisis turun naik (flux) atau memadankan item lejar, seseorang mesti dapat menunjukkan kepada juruaudit bagaimana angka itu terhasil. Sisi kawalan bagi perkara ini dibincangkan dalam AI dan kawalan dalaman. Artikel ini membincangkan lapisan di bawahnya: dokumentasi dan rekod yang menjadikan sesuatu kawalan boleh diuji.

Kesilapan mahal dan lambat dikesan. Ramalan yang hanyut atau model skor yang berat sebelah boleh berjalan berbulan-bulan sebelum sesiapa perasan, dan satu-satunya cara untuk membina semula apa yang berlaku ialah dengan menyimpan rekod.

Apa yang Sebenarnya Dijangka oleh Pengawal Selia dan Juruaudit

Jangkaan berbeza mengikut bidang kuasa dan kes penggunaan, jadi ada baiknya diasingkan.

Keputusan kredit (AS). Regulation B, yang melaksanakan Equal Credit Opportunity Act, menghendaki pemberi kredit memaklumkan pemohon yang ditolak tentang sebab utama dengan istilah yang khusus. Peraturan itu memberi pemberi kredit 30 hari selepas menerima permohonan lengkap untuk memaklumkan pemohon tentang tindakan yang diambil (12 CFR 1002.9). Akibat praktikal bagi AI: jika model anda tidak dapat menghasilkan sebab yang boleh anda pertahankan, anda menghadapi masalah pematuhan, walau setepat mana pun model itu. Alat penjelasan pasca-kejadian (post-hoc) menghampiri sesuatu model dan bukan menghasilkannya semula, jadi pasukan mesti dapat menyemak bahawa penghampiran itu setia.

Pengurusan risiko model (bank AS). Panduan 2011, SR 11-7, telah digantikan oleh SR 26-2, yang mengambil pendekatan berasaskan risiko dan menyatakan bahawa cabaran berkesan ialah analisis kritis oleh pakar yang objektif, dilakukan oleh orang yang mempunyai kepakaran yang betul, kebebasan yang mencukupi dan kedudukan untuk membawa perubahan. Ia juga menyatakan bahawa inventori model yang berkesan mengandungi maklumat yang cukup untuk memahami risiko model pada peringkat individu dan agregat, dan bahawa dokumentasi yang memadai menyokong pengurusan risiko model yang berkesan (SR 26-2). Panduan itu mengecualikan AI generatif dan agentik daripada skopnya, tetapi ia juga menyatakan bahawa amalan tadbir urus bank sendiri harus membimbing kawalan bagi alat yang tidak diliputinya. Jika anda institusi yang lebih kecil atau pasukan kewangan korporat, anggaplah ia sebagai templat yang telah teruji dan bukan buku peraturan.

Model vendor. Panduan yang sama menyatakan bahawa amalan yang baik termasuk memahami kewajaran konsep, reka bentuk, data pembangunan dan prestasi model vendor, serta memantau hasilnya, walaupun vendor tidak mendedahkan kod atau data (SR 26-2). "Vendor kata ia tepat" bukan dokumentasi.

EU. Pemarkahan kredit individu ialah penggunaan berisiko tinggi di bawah Annex III AI Act, dan sistem berisiko tinggi mesti membenarkan pengelogan automatik sepanjang hayatnya (Annex III, Article 12). Garis masa Akta itu telah dipinda, dan teks disatukan semasa menyenaraikan 2 Disember 2027 sebagai tarikh permulaan bagi sistem Annex III (Article 12). Pasukan undang-undang harus mengesahkan statusnya untuk situasi masing-masing, tetapi pengajaran kejuruteraannya sama sahaja: bina pengelogan sekarang, kerana memasangnya kemudian lebih sukar.

Juruaudit pelaporan kewangan. Juruaudit luar tidak meminta bahagian dalam model secara abstrak. Mereka mahu tahu bahawa langkah AI ialah bahagian yang dikenali dan dimiliki dalam proses yang didokumenkan, dengan bukti bahawa seseorang telah menyemak outputnya.

Kebolehjelasan Mengikut Fungsi: Apa Maksud "Dijelaskan" dalam Praktik

"Boleh dijelaskan" bukan satu perkara. Penjelasan yang betul bergantung pada siapa yang bertanya dan apa yang dipertaruhkan.

Corak merentasi jadual ini sama. Penjelasan berkaitan pemacu dan asas, manakala kebolehauditan berkaitan rekod. Sesuatu model boleh mempunyai satu tanpa yang lain: pemarkah berasaskan peraturan yang ringkas mudah dijelaskan tetapi tetap tidak berguna kepada juruaudit jika ia tidak merekodkan apa-apa.

Kit Alat Penjelasan dan Di Mana Ia Tidak Mencukupi

Dua teknik sering muncul untuk model yang kompleks. SHAP "memberikan nilai kepentingan kepada setiap ciri bagi sesuatu ramalan tertentu" (Lundberg dan Lee). LIME menjelaskan ramalan individu dengan memadankan model ringkas yang boleh ditafsir di sekitar kejiranan ramalan itu, sambil menganggap model asas sebagai kotak hitam (Ribeiro et al.).

Kedua-duanya berguna untuk soalan "mengapa keputusan ini". Tiada satu pun menggantikan tadbir urus, atas tiga sebab:

• Ia menjelaskan ramalan, bukan kesesuaian model. Penjelasan yang bersih tentang skor yang berat sebelah tetap skor yang berat sebelah.
• Ia penghampiran. Anggap outputnya sebagai bukti yang perlu disahkan, bukan penaakulan sebenar model.
• Ia tidak menghasilkan sebab yang siap untuk pelanggan dengan sendirinya. Seseorang perlu memetakan sumbangan faktor kepada sebab utama yang boleh dinyatakan dengan tepat dalam notis.

Bagi keputusan yang berkepentingan tinggi, wajar diuji sama ada model yang lebih ringkas hanya mengorbankan sedikit ketepatan, kerana model yang boleh diperiksa secara langsung lebih mudah dipertahankan berbanding model yang perlu dihampiri.

Dokumentasi yang Tahan Diuji: Kad Model dan Inventori

Kad model ialah dokumen pendek yang mengiringi model. Cadangan asal menerangkan kad sebagai dokumentasi prestasi yang diukur dalam pelbagai keadaan, konteks penggunaan yang dimaksudkan, dan cara penilaian dijalankan, supaya pengguna tahu di mana model berfungsi dan di mana tidak (Mitchell et al.). Penulisnya memberi tumpuan kepada penglihatan dan bahasa, dan menyatakan bahawa idea itu terpakai kepada mana-mana model terlatih. Bagi pasukan kewangan, idea itu boleh dipindahkan terus. Lihat kad model AI untuk format am.

Versi kewangan mungkin merangkumi:

1. Tujuan dan pemilik. Keputusan atau proses yang disokongnya, dan pemilik perniagaan yang dinamakan.
2. Penggunaan yang dimaksudkan dan di luar skop. Contohnya, "menilai permohonan pengguna tanpa cagaran; bukan untuk pinjaman perniagaan kecil."
3. Data. Sumber latihan, tempoh masa, jurang yang diketahui, dan pengecualian yang anda kenakan.
4. Kaedah dalam satu perenggan. Jenis model, ciri utama, dan cara output ditukar menjadi keputusan.
5. Prestasi. Ukuran ketepatan, toleransi, keputusan mengikut segmen, dan ujian balik (backtest) berbanding angka sebenar.
6. Kaedah penjelasan. Cara sebab atau pemacu dihasilkan, dan sejauh mana kesetiaannya telah ditunjukkan.
7. Had dan mod kegagalan yang diketahui. Di mana ia lemah, dan apa yang mencetuskan pengendalian manual.
8. Kawalan. Penyemak, ambang, pilihan sandaran jika ia terhenti, dan sejarah perubahan.
9. Pengesahan. Siapa yang mencabarnya, bila, dan apa yang mereka temui.

Pasangkan kad dengan inventori: satu senarai setiap model dan alat AI yang digunakan, dengan pemilik, tujuan, peringkat dan lokasi kad. SR 26-2 sendiri menyatakan bahawa inventori yang berkesan mempunyai maklumat yang cukup untuk memahami risiko model, dan itulah ujian yang patut dikenakan pada inventori anda. Bagi alat vendor, kad itu akan separa kosong. Catatkan perkara itu dan jangan biarkan kosong, kemudian tentukan sama ada jurang tersebut boleh diterima bagi tahap risikonya.

Jejak Audit: Rekod tentang Apa yang Sebenarnya Berlaku

Dokumentasi menyatakan apa yang sepatutnya dilakukan oleh sesuatu sistem. Jejak audit menunjukkan apa yang dilakukannya pada hari tertentu. Prinsip pengelogan dalam peraturan EU ialah piawaian am yang baik: rekodkan peristiwa sepanjang hayat sistem, dengan cara yang menyokong pemantauan dan siasatan (Article 12). Untuk perbincangan yang lebih mendalam tentang jejak apabila AI mengambil tindakan di dalam sistem, lihat jejak audit untuk tindakan AI.

Jejak audit kewangan yang boleh digunakan merekodkan, bagi setiap item material yang dipengaruhi AI:

• Input: data atau dokumen yang diterima sistem, atau penuding kepadanya
• Versi: model, prompt atau set peraturan, dan konfigurasi yang berkuat kuasa pada masa itu
• Output: skor, catatan, bendera atau teks yang dihasilkan
• Penjelasan: pemacu atau sebab yang dijana bersamanya
• Tindakan manusia: siapa yang menyemaknya, apa yang diubah atau diatasi, dan bila
• Hasil seterusnya: keputusan, pengepostan atau notis yang menyusul

Tempoh pengekalan harus sepadan dengan rekod yang disokongnya. Tanya pasukan rekod dan undang-undang anda berapa lama fail kredit, sokongan jurnal dan kertas kerja mesti disimpan, kemudian pastikan log AI tidak dipadam lebih awal. Pengendalian data bagi log ini ialah topik tersendiri, yang dibincangkan dalam keselamatan data kewangan AI.

Cara Membina Kebolehjelasan dan Kebolehauditan, Langkah demi Langkah

1. Inventorikan setiap model dan alat AI dalam kewangan. Sertakan ciri vendor yang dihidupkan dalam sistem sedia ada. Anda tidak dapat mendokumenkan apa yang belum anda temui.

   

2. Peringkatkan mengikut akibat. Model yang menetapkan hasil kredit pelanggan atau rizab layak berada dalam peringkat yang lebih ketat berbanding alat yang menyediakan draf ringkasan dalaman.

3. Tetapkan keperluan penjelasan bagi setiap peringkat. Namakan siapa yang mesti dapat memperoleh penjelasan, seberapa cepat, dan dalam bentuk apa (notis pelanggan, paparan penganalisis, kertas kerja juruaudit).

4. Pilih model dengan mengambil kira keperluan itu. Bagi penggunaan peringkat teratas, uji sama ada model yang lebih telus hampir sama tepat sebelum menerima kotak hitam.

5. Tulis kad model sebelum dilancarkan. Jadikan kelulusan pelancaran bersyarat pada kad yang lengkap dan pemilik yang dinamakan.

6. Dapatkan cabaran bebas. Seseorang yang mempunyai kepakaran dan kebebasan yang betul menyemak model dan kaedah penjelasannya, dan boleh menghendaki perubahan.

7. Hidupkan pengelogan sejak hari pertama. Rekodkan input, versi, output, penjelasan dan tindakan manusia. Uji bahawa anda boleh membina semula satu keputusan dari awal hingga akhir daripada log.

8. Jalankan latihan pembinaan semula. Pilih sepuluh keputusan lepas secara rawak dan minta seseorang di luar pasukan pembinaan menjelaskan setiap satu daripada rekod sahaja. Jurang akan cepat kelihatan.

9. Pantau dan dokumenkan semula. Jejaki ketepatan, hanyutan model dan kadar penggantian. Kemas kini kad dan cabar semula apabila model, data atau penggunaan berubah. Lihat kawalan ketepatan AI dalam kewangan untuk idea pemantauan.

Kesilapan Lazim

• Menjelaskan model tetapi bukan keputusan. Kepentingan ciri global tidak menjawab mengapa pemohon ini ditolak atau mengapa catatan ini ditanda.
• Sebab generik. Menghantar sebab senarai semak yang paling hampir apabila pemacu sebenar ialah sesuatu yang lain gagal dalam ujian kekhususan di bawah Regulation B.
• Mempercayai alat penjelasan secara membuta tuli. Kaedah pasca-kejadian menghampiri tingkah laku. Uji terhadap kes yang diketahui.
• Kad model sebagai PDF sekali sahaja. Kad yang tidak berubah apabila model berubah menjadi rekod palsu.
• Log tanpa versi. Mengetahui apa outputnya tidak berguna jika anda tidak dapat mengenal pasti model atau prompt mana yang menghasilkannya.
• Kekaburan vendor diterima secara lalai. "Proprietari" ialah sebab untuk memantau hasil dengan lebih ketat, bukan untuk mengabaikan dokumentasi.
• Semakan tanpa bukti. Penyemak yang meluluskan tetapi tidak meninggalkan rekod tentang apa yang disemak tidak memberi juruaudit apa-apa untuk diuji.
• Kebolehjelasan dibina selepas pelancaran. Memasang log dan dokumentasi kemudian memakan kos jauh lebih tinggi berbanding mereka bentuknya sejak awal.

Apa yang Perlu Diukur

• Liputan: bahagian model dan alat AI yang mempunyai pemilik, peringkat dan kad terkini
• Kadar pembinaan semula: bahagian keputusan sampel yang boleh dijelaskan sepenuhnya daripada log sahaja
• Kualiti penjelasan: kekerapan penyemak atau pengesah menolak sebab yang dijana kerana tidak tepat atau terlalu kabur
• Kadar penggantian: kekerapan manusia mengubah output, dan sebabnya
• Kesegaran: masa sejak setiap kad dan pengesahan dikemas kini kali terakhir, berbanding log perubahan
• Penutupan isu: masa untuk menyelesaikan dapatan pengesahan dan audit

Langkah Seterusnya

Mulakan dengan inventori dan pemeringkatan, kemudian tulis kad untuk peringkat teratas anda dan jalankan satu latihan pembinaan semula. Jika anda masih memetakan di mana AI sesuai, AI dalam kewangan dan perakaunan memberikan gambaran yang lebih luas.