Bahasa Melayu

Apakah Keselamatan AI (Safety)? Mengapa "Berfungsi dalam Testing" Tidak Mencukupi

Rangka kerja safety AI menunjukkan lapisan kawalan teknikal, pengawasan manusia, dan langkah dasar

Sistem AI di sebuah bank besar lulus setiap benchmark, setiap ujian ketepatan, setiap semakan integrasi. Kemudian dalam pengeluaran, urutan input yang luar biasa menyebabkannya mengesyorkan dagangan yang secara kolektif akan menjejaskan portfolio kecil. Tiada langkah individu yang salah. Gabungannya adalah bencana. Bank itu mendapatinya kerana penyemak manusia menandakan output sebelum pelaksanaan.

Itulah masalah safety AI. Bukan masalah ketepatan model, bukan masalah kualiti data, bukan masalah proses tadbir urus. Soalan asas tentang sama ada sistem yang berfungsi dalam keadaan yang dijangkakan juga akan berkelakuan dengan selamat dalam keadaan yang tidak dijangkakan.

Safety AI ialah bidang yang berdedikasi untuk membina sistem AI yang berfungsi dengan selamat bukan sahaja dalam testing tetapi dalam kerumitan penuh dunia nyata, termasuk kes tepi yang tidak dijangka oleh sesiapa.

Skop Safety AI

Safety AI adalah bidang penyelidikan dan disiplin kejuruteraan praktikal sekaligus. Memahami kedua-duanya membantu menjelaskan apa yang istilah itu sebenarnya merangkumi.

Sebagai bidang penyelidikan, safety AI mengkaji cara membina sistem AI yang secara boleh dipercayai mengejar objektif yang dimaksudkan, tidak menyebabkan kemudaratan tidak disengajakan yang serius, dan kekal di bawah kawalan manusia yang bermakna apabila keupayaan meningkat. Kebimbangan asas termasuk: sistem yang mengejar objektif dengan cara yang tidak dimaksudkan oleh perekabentuknya; sistem yang berkelakuan berbeza apabila diperhatikan berbanding apabila digunakan; sistem yang memperoleh sumber atau keupayaan melebihi keperluan tugasnya; dan cabaran menentukan nilai manusia dengan cara yang boleh dioptimumkan secara tepat oleh sistem AI.

Sebagai disiplin kejuruteraan praktikal, safety AI merangkumi langkah teknikal dan operasi khusus yang diperlukan sistem AI dalam pengeluaran: ujian keteguhan, penilaian adversarial, pengesahan input, penapisan output, mekanisme pengawasan manusia, dan proses tindak balas insiden.

Bagi kebanyakan perniagaan, bahagian kejuruteraan praktikal adalah yang paling segera relevan. Soalan penyelidikan penting sebagai sumber teknik dan sebagai konteks untuk hala tuju industri.

Perbezaan Safety AI dengan Konsep Berkaitan

Terminologi dalam bidang ini memang mengelirukan kerana konsep-konsep bertindih dan organisasi yang berbeza menggunakan istilah secara berbeza.

Penjajaran AI adalah tentang memastikan sistem AI mengejar matlamat yang sebenarnya dimaksudkan oleh operatornya, dengan mengambil kira kerumitan penuh nilai manusia. Safety dan penjajaran bertindih secara ketara: sistem yang tidak selamat sering merupakan sistem yang tidak sejajar. Tetapi penjajaran terutamanya berkenaan masalah spesifikasi matlamat; safety lebih luas, termasuk keteguhan terhadap input yang tidak dijangkakan dan serangan adversarial walaupun penjajaran adalah baik.

Etika AI berkenaan nilai yang harus membimbing pembangunan dan penggunaan AI: keadilan, privasi, maruah manusia. Etika menentukan sasaran; kejuruteraan safety adalah sebahagian daripada cara mencapainya.

Responsible AI ialah rangka kerja perusahaan untuk mengoperasikan komitmen etika. Ujian safety dan red-teaming adalah alat dalam program Responsible AI.

Guardrail AI adalah kawalan teknikal khusus (penapis input, pengelas output, penolakan yang dikodkan keras) yang menguatkuasakan sempadan safety dalam sistem yang digunakan. Guardrail adalah satu pelaksanaan keperluan safety AI.

Cara yang jelas untuk memikirkannya: safety AI bertanya "apa yang boleh silap?" dan membangunkan jawapan yang sistematik. Konsep lain menangani nilai mana yang penting, siapa yang bertanggungjawab, dan kawalan teknikal mana yang menguatkuasakan sempadan.

Teras Teknikal Safety AI

Penyelidik dan jurutera safety AI bekerja pada beberapa kelompok masalah yang berbeza:

Keteguhan ialah sifat berfungsi secara boleh dipercayai di bawah peralihan taburan, input yang tidak dijangkakan, dan keadaan adversarial. Model yang teguh memberikan output yang munasabah apabila menerima input yang berbeza daripada taburan latihannya, bukannya menghasilkan ramalan yang yakin tetapi salah atau berkelakuan secara tidak menentu. Ujian keteguhan secara khusus mencari input yang menyebabkan kegagalan, bukan hanya mengukur ketepatan pada data ujian yang bersih.

Kebolehinterpretasian dan ketelusan menangani sama ada manusia dapat memahami mengapa sistem AI menghasilkan output tertentu. Sistem yang boleh diinterpretasi adalah lebih mudah diaudit untuk sifat safety, lebih mudah dinyahpepijat apabila gagal, dan lebih mudah disahkan terhadap keperluan safety. Kaedah AI yang boleh dijelaskan adalah kotak alat di sini.

Penilaian dan red-teaming adalah pendekatan sistematik untuk mencari kegagalan safety sebelum penggunaan. Red-teaming AI menggunakan ujian adversarial, dengan manusia atau sistem AI yang secara aktif cuba menyebabkan model gagal dengan cara yang relevan dengan safety. Benchmark standard mengukur prestasi purata; red-teaming mencari risiko ekor.

Pengawasan berskala menangani cara mengekalkan kawalan manusia yang bermakna apabila sistem AI menjadi lebih berkemampuan dan beroperasi lebih cepat daripada yang manusia boleh pantau secara langsung setiap tindakan. Teknik termasuk membuat sistem AI menjana penjelasan yang boleh dinilai oleh manusia, mengambil sampel dan menyemak tindakan AI, dan mereka bentuk proses kerja di mana AI membantu semakan manusia bukannya menggantikannya.

Penahanan dan kawalan akses mengehadkan apa yang boleh dilakukan oleh sistem AI, terutamanya untuk proses kerja agentik yang melaksanakan tindakan di dunia nyata. Prinsipnya adalah keupayaan minimum yang perlu: sistem AI harus mempunyai akses tepat kepada alat dan data yang mereka perlukan, tidak lebih. Ini mengehadkan jejari letupan apabila sesuatu silap.

Risiko Bencana dan Sistemik

Komuniti penyelidikan safety AI memberikan perhatian yang ketara kepada risiko bencana dan sistemik daripada sistem AI yang canggih. Ini bernilai untuk difahami walaupun untuk organisasi yang tidak bekerja pada AI frontier, kerana ia memaklumkan arah aliran kawal selia dan amalan safety yang akan menjadi piawaian.

Senario risiko bencana melibatkan sistem AI yang menyebabkan kemudaratan tidak boleh balik dalam skala besar: sistem yang digunakan dalam infrastruktur kritikal yang gagal serentak, AI yang digunakan dalam reka bentuk senjata biologi atau kimia, atau sistem yang memperoleh keupayaan luas sambil mengejar objektif sempit. Risiko ini mendorong sebahagian besar perhatian kawal selia semasa dan keperluan safety yang sedang dibina dalam undang-undang seperti EU AI Act.

Bagi kebanyakan perusahaan yang menggunakan AI hari ini, kebimbangan safety yang realistik adalah lebih biasa: sistem agentik yang mengambil tindakan yang tidak disengajakan, model yang menghasilkan nasihat perubatan atau kewangan yang berbahaya apabila pengguna bertanya soalan di luar skop yang dimaksudkan, keputusan yang dibantu AI yang secara sistematik merugikan populasi tertentu, atau sistem AI yang dimanipulasi melalui serangan prompt injection untuk melakukan tindakan di luar skop yang dimaksudkan.

Kedua-dua set kebimbangan berkongsi struktur yang sama: soalan tentang apa yang berlaku apabila sistem AI menghadapi keadaan di luar keadaan yang direka dan diuji untuknya.

Safety AI dalam Amalan Perusahaan

Bagi syarikat yang menggunakan AI dalam pengeluaran, keperluan safety AI diterjemahkan ke dalam amalan khusus:

Takrifkan skop tingkah laku yang boleh diterima sebelum penggunaan. Apa yang sepatutnya dilakukan oleh sistem? Apa yang sepatutnya ditolak? Apa yang sepatutnya dieskalasinya kepada manusia? Dokumentasikan ini sebagai keperluan yang boleh diuji, bukan sebagai prinsip umum.

Uji mod kegagalan, bukan hanya kes kejayaan. Ujian standard mengukur prestasi purata. Ujian safety secara khusus mencari input yang menyebabkan tingkah laku yang tidak boleh diterima: percubaan jailbreak, contoh adversarial, kes tepi daripada taburan, dan permintaan di luar skop.

Bina pengawasan manusia berkadar dengan pertaruhan. Untuk keputusan dengan akibat yang ketara (nasihat perubatan, transaksi kewangan, keputusan kakitangan), sistem AI perlu memberi isyarat ketidakpastian, memerlukan pengesahan manusia untuk tindakan berkonsekuensi, dan memudahkan manusia untuk membatalkannya. Proses human-in-the-loop adalah mekanisme safety yang penting.

Hadkan keupayaan agentik kepada yang perlu. Apabila sistem AI boleh mengambil tindakan di dunia, hadkan tindakan yang boleh diambilnya kepada yang diperlukan untuk tugas tersebut. Pembantu penulisan AI tidak memerlukan akses untuk menghantar e-mel. AI yang menempah perjalanan tidak memerlukan akses kepada sistem kewangan. Keupayaan minimum yang perlu adalah prinsip safety.

Rancang untuk kegagalan. Takrifkan apa yang berlaku apabila sistem AI gagal atau menghasilkan output yang berbahaya. Siapa yang diberitahu? Apakah proses rollback? Bagaimana pengguna atau pelanggan yang terjejas ditangani? Pelan tindak balas insiden safety sama pentingnya dengan pelan tindak balas insiden keselamatan siber.

Mengapa Pelaburan Safety Berbaloi

Organisasi kadang-kadang menganggap safety AI sebagai overhed, kos tambahan tanpa pulangan yang jelas. Pengiraan berubah apabila mempertimbangkan senario negatif.

Satu kegagalan safety AI berprofil tinggi sahaja, keputusan pengambilan pekerja yang bersifat diskriminasi, cadangan perubatan yang berbahaya, sistem autonomi yang mengambil tindakan yang tidak disengajakan, boleh menghasilkan siasatan kawal selia, kerosakan reputasi, dan liabiliti undang-undang yang jauh melebihi kos pencegahan. Penalti EU AI Act untuk ketidakpatuhan dengan keperluan safety boleh mencapai 6% daripada hasil tahunan global untuk pelanggaran yang paling serius.

Di luar mitigasi risiko, sistem AI yang selamat cenderung menjadi sistem yang lebih boleh dipercayai. Disiplin ujian yang diperlukan oleh safety (red-teaming, penilaian adversarial, liputan kes tepi) menangkap pepijat dan mod kegagalan yang ujian standard terlepas. Pasukan yang melabur dalam amalan safety biasanya menggunakan AI berkualiti lebih tinggi secara keseluruhan.

Dan apabila sistem AI menjadi lebih berkemampuan dan mengambil alih tugas yang lebih berkonsekuensi, kos jangkaan kegagalan safety meningkat. Membina budaya safety dan amalan safety sekarang, semasa pertaruhannya masih boleh diurus, adalah lebih murah daripada membinanya di bawah tekanan selepas insiden.

Konsep AI Berkaitan

Sumber Luar

FAQ

Soalan Lazim tentang Safety AI

Apakah safety AI?

Safety AI ialah bidang teknikal dan dasar yang memberi tumpuan kepada memastikan sistem AI berkelakuan dengan boleh dipercayai, tidak menyebabkan kemudaratan yang tidak disengajakan, dan kekal di bawah kawalan manusia yang bermakna apabila menjadi lebih berkemampuan. Ia merangkumi amalan kejuruteraan jangka pendek (ujian keteguhan, guardrail, pengawasan manusia) dan penyelidikan jangka panjang tentang pencegahan kegagalan bencana daripada sistem AI yang canggih.

Adakah safety AI hanya relevan untuk makmal AI yang mutakhir?

Tidak. Setiap organisasi yang menggunakan AI dalam pengeluaran mempunyai keperluan safety AI yang praktikal: menguji mod kegagalan, membina pengawasan manusia yang sesuai, mengehadkan tindakan yang boleh diambil oleh sistem agentik, dan merancang untuk insiden. Kebimbangan meningkat dengan keupayaan, tetapi amalan terpakai secara meluas.

Bagaimana safety AI berkaitan dengan penjajaran AI?

Mereka berkait rapat tetapi tidak sama. Penjajaran adalah khusus tentang memastikan sistem AI mengejar objektif yang dimaksudkan dengan tepat, dengan mengambil kira kerumitan nilai manusia. Safety lebih luas: sistem boleh diselaraskan dengan baik tetapi masih tidak selamat jika ia rapuh terhadap input adversarial, atau jika ia mengambil tindakan dengan akibat yang tidak dijangka oleh perekabentuknya. Dalam amalan, bidang-bidang tersebut bertindih secara ketara.

Apakah amalan safety AI yang paling penting untuk perusahaan yang menggunakan AI hari ini?

Red-teaming dan ujian adversarial sebelum penggunaan, digabungkan dengan pengawasan manusia berkadar dengan pertaruhan keputusan. Ujian ketepatan standard memberitahu cara sistem berfungsi pada input yang dijangkakan; red-teaming memberitahu di mana ia gagal pada input yang tidak dijangkakan. Pengawasan manusia memastikan bahawa kegagalan dalam pengeluaran mempunyai jaring keselamatan.