Semakan Keselamatan AI Dijelaskan

Oleh Brian Tr · Dikemas kini 6 Oktober 2026

Semakan keselamatan AI ialah pemeriksaan rasmi yang dijalankan pembeli perusahaan terhadap produk AI vendor sebelum ia dibenarkan menyentuh data syarikat. Ia bermula sebagai semakan vendor perisian biasa: soal selidik, pensijilan, soalan seni bina, terma kontrak. Kemudian ia menambah lapisan kedua soalan tentang risiko yang hanya wujud kerana produk itu mengandungi model, seperti suntikan prompt, kebocoran maklumat sensitif, dan perisian yang mengambil tindakan bagi pihak pengguna.

Bagi syarikat permulaan AI, semakan ini sering menjadi titik di mana urus niaga yang kelihatan pasti menjadi perlahan selama berminggu-minggu. Ia juga boleh dijangka. Rangka kerja yang digunakan penyemak adalah terbuka kepada umum, soalannya berulang daripada satu pembeli kepada pembeli lain, dan kebanyakan kerjanya ialah menyediakan bukti sebelum sesiapa bertanya. Halaman ini menerangkan apa itu semakan, bezanya dengan semakan SaaS standard, rangka kerja yang dinamakan di sebaliknya, peringkat yang dilaluinya, dan apa yang perlu disediakan.

Apakah Semakan Keselamatan AI

Semakan keselamatan ialah proses usaha wajar di pihak pembeli. Pasukan keselamatan, risiko atau IT pembeli memutuskan sama ada produk vendor boleh digunakan dengan data pembeli, dan dalam keadaan apa. Hasilnya biasanya kelulusan, kelulusan bersyarat dengan pembetulan yang diperlukan, atau penolakan.

Dua perkara menjadikannya berbeza daripada perbualan jualan biasa. Khalayaknya ialah pemilik risiko, bukan orang yang mahukan produk itu. Dan buktinya perlu ditulis, kerana penyemak perlu mempertahankan keputusan itu kepada orang lain kemudian.

Dalam jualan AI, semakan ini jarang berdiri sendiri. Ia berjalan seiring dengan semakan undang-undang terhadap terma data dan, semakin kerap, penelitian berasingan tentang tadbir urus AI. Lihat jawatankuasa pembelian AI untuk mengetahui siapa yang berada di seberang meja dan mengapa pihak keselamatan cenderung memegang kuasa veto.

Bezanya dengan Semakan SaaS Standard

Semakan keselamatan SaaS standard bertanya sama ada vendor melindungi data dan menjalankan operasi yang berdisiplin. Semakan AI bertanya semua itu, kemudian bertanya sama ada lapisan model memperkenalkan cara baharu untuk kehilangan data, dimanipulasi atau menyebabkan kemudaratan. Asasnya dibawa bersama; lapisan AI ialah tambahan.

Baris tingkah laku ialah yang dipandang rendah oleh pengasas. Perisian konvensional bersifat deterministik, jadi penyemak boleh menaakul berdasarkan reka bentuk. Output model tidak tetap, jadi penyemak meminta bukti ujian sebaliknya. Ini berkait dengan kerja penilaian dalam mengapa demo lebih penting untuk produk AI.

Asasnya: Soal Selidik dan Pensijilan

Sebelum sebarang soalan khusus AI, kebanyakan semakan memeriksa asas yang sama.

Soal selidik keselamatan. Pembeli sering menghantar soal selidik standard, atau soal selidik tersuai mereka sendiri. Dua format standard yang digunakan secara meluas ialah soal selidik SIG (Standardized Information Gathering) daripada Shared Assessments dan CAIQ daripada Cloud Security Alliance. Halaman Cloud Controls Matrix CSA menggambarkan CCM sebagai meta-rangka kerja kawalan keselamatan khusus awan yang dipetakan kepada piawaian utama, dan mengedarkan CAIQ bersamanya, termasuk versi STAR Level 1 untuk dihantar ke CSA STAR Registry. Menjawab soal selidik yang sama berulang kali adalah membazir, jadi syarikat permulaan yang mempunyai satu CAIQ atau SIG yang lengkap dan terkini boleh menggunakan semula sebahagian besarnya.

SOC 2. Laporan SOC 2 ialah pemeriksaan bebas terhadap kawalan organisasi perkhidmatan. Halaman suite SOC AICPA menyenaraikan lima bidang yang berkaitan dengan perkhidmatan sedemikian: keselamatan, ketersediaan, integriti pemprosesan, kerahsiaan dan privasi. Laporan yang meliputi tempoh yang dinyatakan ialah artifak tunggal paling biasa yang diminta penyemak perusahaan.

ISO/IEC 27001. Piawaian antarabangsa untuk pengurusan keselamatan maklumat ialah permintaan biasa yang lain, terutamanya daripada pembeli bukan Amerika Syarikat.

SOC 2 atau ISO 27001 tidak menjawab soalan AI. Ia memberitahu penyemak bahawa organisasi anda menjalankan proses terkawal, iaitu tiket masuk. Jika anda belum memilikinya, nyatakan dengan jelas, berikan garis masa anda, dan bersedia menjawab soalan asas secara langsung. Syarikat permulaan peringkat awal sering melepasi semakan dengan jawapan bertulis yang jelas dan pelan hala tuju yang tertakrif, tetapi ini menyempitkan pembeli yang sanggup mengambil risiko tersebut.

Risiko Khusus AI yang Dicari Penyemak

Penyemak tidak mencipta kategori risiko AI dari awal. Kebanyakannya bersandar pada OWASP Top 10 for LLM Applications, yang diterbitkan oleh OWASP GenAI Security Project. Edisi 2025 menyenaraikan sepuluh risiko:

1. Suntikan Prompt (Prompt Injection)
2. Pendedahan Maklumat Sensitif (Sensitive Information Disclosure)
3. Rantaian Bekalan (Supply Chain)
4. Peracunan Data dan Model (Data and Model Poisoning)
5. Pengendalian Output yang Tidak Wajar (Improper Output Handling)
6. Agensi Berlebihan (Excessive Agency)
7. Kebocoran System Prompt (System Prompt Leakage)
8. Kelemahan Vektor dan Embedding (Vector and Embedding Weaknesses)
9. Maklumat Salah (Misinformation)
10. Penggunaan Tanpa Had (Unbounded Consumption)

Lima daripadanya muncul dalam hampir setiap semakan.

Suntikan prompt. Teks yang memanipulasi model supaya mengabaikan arahannya. Ia boleh datang terus daripada pengguna atau secara tidak langsung melalui kandungan yang dibaca model, seperti dokumen, halaman web atau e-mel. Soalan penyemak ialah apa yang boleh dipaksa penyerang untuk dilakukan atau didedahkan oleh produk anda, dan had apa yang wujud jika model itu tertipu.

Pendedahan maklumat sensitif. Bolehkah produk mendedahkan data seorang pelanggan kepada pelanggan lain, atau mendedahkan data sulit dalam output atau log? Di sinilah pengasingan penyewa, kawalan akses pada pengambilan semula dan amalan pengelogan diperiksa.

Rantaian bekalan. Produk anda mungkin bergantung pada model pihak ketiga, komponen sumber terbuka, set data dan mungkin pemalam. Penyemak mahu tahu yang mana satu, siapa yang mengemas kininya, dan apa yang berlaku apabila penyedia menukar terma atau mengalami insiden.

Pengendalian output yang tidak wajar. Output model ialah input yang tidak dipercayai bagi bahagian lain sistem anda. Jika ia dihantar ke pangkalan data, pelayar atau shell tanpa pengesahan, ia menjadi laluan suntikan. Model yang menulis arahan yang kemudiannya dijalankan seseorang ialah kes klasik.

Agensi berlebihan. OWASP mentakrifkannya sebagai kerentanan yang membenarkan tindakan merosakkan berlaku sebagai tindak balas kepada output model yang tidak dijangka, samar-samar atau dimanipulasi. Ia menyenaraikan tiga punca: fungsi berlebihan, kebenaran berlebihan dan autonomi berlebihan. Bagi produk ejen, ini sering menjadi soalan utama, kerana produk itu bertindak, bukan sekadar menjawab. Untuk pandangan khusus ejen, lihat keselamatan ejen AI.

Rangka Kerja yang Dipetik Penyemak

Empat nama muncul dalam soal selidik dan dokumen dasar. Mengetahui apa setiap satu, dan apa yang bukan, menghalang anda daripada membuat tuntutan berlebihan.

NIST AI RMF. NIST menyatakan bahawa AI RMF 1.0, yang dikeluarkan pada 26 Januari 2023, bertujuan untuk kegunaan sukarela bagi menambah baik cara organisasi membina kebolehpercayaan ke dalam reka bentuk, pembangunan, penggunaan dan penilaian AI. NIST mengeluarkan Generative AI Profile (NIST-AI-600-1) pada 26 Julai 2024. Menurut profil itu sendiri, profil ialah pelaksanaan fungsi rangka kerja untuk persekitaran tertentu, dan profil ini mentakrifkan risiko yang baharu atau diburukkan oleh AI generatif, kemudian mencadangkan tindakan untuk mentadbir, memetakan, mengukur dan mengurusnya. Tiada istilah "disijilkan NIST." Sebut "dijajarkan dengan" hanya jika anda benar-benar telah memetakan amalan anda.

ISO/IEC 42001. Piawaian ini menetapkan keperluan untuk mewujudkan, melaksanakan, menyelenggara dan menambah baik secara berterusan sistem pengurusan AI, dan terpakai kepada mana-mana organisasi yang membangunkan, menyediakan atau menggunakan produk atau perkhidmatan berasaskan AI. Ia diterbitkan pada 18 Disember 2023. Oleh sebab ia piawaian sistem pengurusan, pensijilan bermakna juruaudit telah menilai proses anda. Ia bukan jaminan bahawa mana-mana output model tertentu selamat, dan ia tidak diperlukan untuk kebanyakan semakan hari ini. Bagi syarikat permulaan, ia menjadi pembeza apabila anda menjual kepada pembeli yang memintanya.

MITRE ATLAS. Dimodelkan berdasarkan matriks ATT&CK MITRE, ATLAS menyusun cara musuh menyerang sistem yang didayakan AI. Pasukan keselamatan menggunakannya untuk membina model ancaman dan senario red team. Syarikat permulaan jarang diminta untuk "mematuhi ATLAS", tetapi memetiknya dalam model ancaman anda menunjukkan kerja itu telah dilakukan.

Peringkat Semakan

Proses setiap pembeli berbeza, tetapi kebanyakannya mengikut aliran yang sama.

1. Penerimaan. Pasukan perolehan atau keselamatan pembeli membuka permintaan vendor, mengklasifikasikan data yang terlibat dan memutuskan sejauh mana kedalaman semakan. Produk yang menyentuh data peribadi pelanggan atau bersambung dengan sistem teras mendapat semakan lebih mendalam berbanding produk yang mengendalikan kandungan awam.
2. Pertukaran dokumen. Anda menghantar apa yang anda ada: gambaran keseluruhan keselamatan, laporan SOC 2 atau ISO, soal selidik yang lengkap, terma pemprosesan data, senarai sub-pemproses, rajah seni bina.
3. Soal selidik dan penjelasan. Penyemak meneliti jawapan dan menghantar soalan susulan. Soalan khusus AI biasanya tiba di sini: latihan menggunakan data pelanggan, penyedia model, pagar keselamatan, pengelogan.
4. Penelitian teknikal mendalam. Untuk pelaksanaan berisiko tinggi, panggilan bersama jurutera keselamatan pembeli. Mereka mungkin meminta untuk melihat seni bina, pengasingan penyewa, cara prompt dan alat dikendalikan, serta keputusan ujian.
5. Ujian, jika diperlukan. Sesetengah pembeli menjalankan atau meminta ujian penembusan, atau meminta bukti ujian bermusuhan terhadap lapisan model.
6. Keputusan risiko dan pemulihan. Penyemak meluluskan, meluluskan dengan syarat, atau menolak. Syarat sering menjadi komitmen kontrak atau pelan pemulihan dengan tarikh.
7. Pengontrakan dan semakan semula. Penemuan dimasukkan ke dalam perjanjian. Ramai pembeli menyemak semula mengikut jadual atau apabila sesuatu yang material berubah, seperti penyedia model baharu atau ciri autonomi baharu.

Kos masanya nyata, dan itulah sebabnya pakej bukti penting. Bagaimana hasilnya berkait dengan terma urus niaga dibincangkan dalam daripada projek rintis AI kepada kontrak.

Bukti yang Perlu Disediakan Syarikat Permulaan AI

Penyemak bergerak lebih pantas apabila jawapan sudah ditulis. Pendekatan praktikalnya ialah pakej kepercayaan tetap, yang sentiasa dikemas kini, yang boleh anda hantar apabila diminta.

Tulis jawapan supaya ia tahan diteliti. Tuntutan seperti "kami dilindungi daripada suntikan prompt" mengundang soalan susulan yang tidak dapat anda penuhi, kerana tiada vendor boleh menjanjikannya. Tuntutan seperti "kandungan yang tidak dipercayai dianggap sebagai data, panggilan alat dihadkan kepada skop ini, dan tindakan berimpak tinggi memerlukan kelulusan" memberi penyemak sesuatu yang khusus untuk disemak. Disiplin yang sama dalam menyokong setiap tuntutan dengan bukti terdapat dalam menjual AI kepada pembeli yang skeptikal.

Kesilapan Biasa

• Membuat tuntutan pematuhan berlebihan. Menyebut "mematuhi NIST" atau "disijilkan ISO 42001" apabila kedua-duanya tidak benar ialah cara paling cepat untuk kehilangan kredibiliti dan mewujudkan pendedahan undang-undang.
• Tidak mengetahui rantaian bekalan sendiri. Jika anda tidak dapat menyatakan penyedia model mana yang melihat data pelanggan, semakan akan tergendala.
• Mengabaikan kebenaran ejen. Memberi ejen kelayakan yang luas kerana mudah ialah tepat apa yang digambarkan oleh agensi berlebihan.
• Menyembunyikan had. Penyemak jauh lebih menghormati "ini ialah had yang diketahui dan inilah kawalannya" berbanding berdiam diri. Untuk sudut pematuhan bagi ejen, lihat pematuhan ejen AI.

Fakta Utama

• Asas ditambah lapisan AI: semakan keselamatan AI menjalankan pemeriksaan vendor standard (soal selidik, SOC 2 atau ISO 27001, terma data), kemudian menambah risiko khusus model.
• Senarai OWASP: edisi 2025 OWASP Top 10 for LLM Applications menamakan sepuluh risiko, daripada Suntikan Prompt hingga Penggunaan Tanpa Had.
• Agensi berlebihan mempunyai tiga punca: OWASP menyenaraikan fungsi berlebihan, kebenaran berlebihan dan autonomi berlebihan.
• NIST AI RMF adalah sukarela: NIST mengeluarkan AI RMF 1.0 pada 26 Januari 2023 dan Generative AI Profile pada 26 Julai 2024. Kedua-duanya bukan pensijilan.
• ISO/IEC 42001 boleh disijilkan: diterbitkan pada 18 Disember 2023, ia menetapkan keperluan untuk sistem pengurusan AI.
• SOC 2 meliputi lima bidang: menurut AICPA, keselamatan, ketersediaan, integriti pemprosesan, kerahsiaan dan privasi.
• Soal selidik boleh guna semula wujud: CSA mengedarkan CAIQ bersama Cloud Controls Matrix, termasuk versi STAR Level 1.

Bacaan Berkaitan

• Soalan privasi data yang ditanya pembeli AI
• Kepercayaan dan penilaian sebagai aset jualan
• Apakah dasar AI yang bertanggungjawab?
• Menjual AI kepada pembeli yang skeptikal
• Jawatankuasa pembelian AI
• Daripada projek rintis AI kepada kontrak
• Mengapa demo lebih penting untuk produk AI
• Keselamatan ejen AI
• Pematuhan ejen AI