Metrik Penerimaan Produk AI

Oleh Brian Tr · Dikemas kini 7 Oktober 2026

Penerimaan produk AI ialah bahagian pengguna sasaran yang berulang kali menyiapkan tugasan sebenar dengannya dan terus berbuat demikian. Ia bukan pendaftaran, log masuk atau bilangan kerusi yang dijual. Angka-angka itu mudah dikumpul dan menyanjung hampir setiap produk AI, kerana orang mencuba alat AI atas dasar ingin tahu dan ramai yang berhenti selepas seminggu.

Halaman ini membentangkan satu sistem pengukuran untuk pengasas: rangka kerja untuk menyusun metrik, metrik khusus yang penting untuk AI, dan titik di mana penggunaan dan nilai mula berpisah. Fokusnya ialah cara mengukur, bukan cara menambah baik. Untuk sisi penambahbaikan, lihat onboarding dan masa kepada nilai dan churn produk AI.

Mengapa Pendaftaran dan Log Masuk Mengelirukan

Masalah ini lebih ketara bagi AI. Produk AI biasa mempunyai lengkung kebaharuan: penggunaan tinggi pada minggu pertama, kemudian menurun sebaik sahaja pembeli melihat hadnya. Pembeli juga mungkin membayar kerusi yang tidak dibuka oleh sesiapa. Dan seorang pengguna boleh menggunakan produk setiap hari sementara outputnya dibuang ke tong sampah. Setiap keadaan ini kelihatan baik pada papan pemuka log masuk.

Pengukuran yang baik memisahkan empat soalan: adakah orang bermula, adakah mereka kembali, adakah mereka menggunakannya secara mendalam, dan adakah ia berkesan? Soalan-soalan itu sepadan rapat dengan satu rangka kerja yang telah diterbitkan, jadi gunakannya dan jangan mencipta rangka kerja sendiri.

Rangka Kerja HEART

Rodden, Hutchinson dan Fu dari Google mencadangkan HEART dalam Measuring the User Experience on a Large Scale (CHI 2010). Ia bermaksud Happiness (Kegembiraan), Engagement (Penglibatan), Adoption (Penerimaan), Retention (Pengekalan) dan Task Success (Kejayaan Tugasan). Para penulis membentangkannya sebagai satu set kategori yang daripadanya pasukan memilih metrik khusus, bukan sebagai senarai angka yang tetap.

Kertas kajian itu membandingkan HEART dengan apa yang dipanggilnya metrik PULSE: paparan halaman, masa operasi, kependaman, pengguna aktif tujuh hari dan pendapatan. Menurut para penulis, metrik PULSE penting, tetapi ia menjejaki kesihatan perniagaan dan teknikal, bukan kualiti pengalaman pengguna. HEART bertujuan untuk melengkapinya.

Kertas kajian itu juga menyediakan kaedah kerjanya: Goals, Signals, Metrics (Matlamat, Isyarat, Metrik). Mula-mula nyatakan apa yang patut dicapai oleh produk atau ciri untuk pengguna, kemudian namakan isyarat yang akan menunjukkan ia berlaku, kemudian bina metrik daripada isyarat itu.

Tiga butiran daripada kertas kajian itu terpakai secara langsung kepada produk AI.

Tidak setiap kategori sesuai untuk setiap produk. Para penulis menyatakan bahawa Penglibatan mungkin tidak bermakna dalam persekitaran perusahaan di mana orang dijangka menggunakan produk sebagai sebahagian daripada kerja mereka. Dalam keadaan itu, pasukan mungkin lebih bergantung pada Kegembiraan atau Kejayaan Tugasan. Kebanyakan produk AI B2B berada dalam situasi ini, jadi jangan paksa sasaran penggunaan harian ke atas alat yang dibuka orang apabila kerja tiba.

Laporkan penglibatan bagi setiap pengguna, bukan secara keseluruhan. Kertas kajian itu mengesyorkan purata bagi setiap pengguna, kerana jumlah keseluruhan yang meningkat boleh datang daripada lebih ramai pengguna dan bukannya lebih banyak penggunaan. Pengasas yang memerhati jumlah prompt setiap bulan akan melihat pertumbuhan setiap bulan sedangkan produknya kekal cetek.

Takrifkan "diterima" sebagai tugasan yang disiapkan. Kertas kajian itu menyatakan bahawa dalam sesetengah produk, melawat laman mungkin dikira sebagai menggunakannya, manakala dalam produk lain, pelawat dikira telah menerima produk hanya selepas menyiapkan tugasan utama. Bagi produk AI, takrifan kedua hampir selalu betul.

Pengaktifan: Mentakrifkan Penggunaan Sebenar Pertama

Pengaktifan ialah saat pengguna baharu mendapat hasil pertama yang mereka mahu simpan. Ia terletak antara pendaftaran dan tabiat, dan inilah metrik yang paling wajar ditakrifkan dengan teliti, kerana segala-galanya di hiliran bergantung padanya.

Takrifan pengaktifan yang boleh digunakan mempunyai tiga bahagian:

1. Tindakan khusus, seperti "menjalankan aliran kerja pertama pada data sebenar" dan bukannya "mencipta akaun."
2. Syarat kualiti, seperti "menerima atau mengeksport output."
3. Tetingkap masa, seperti "dalam tempoh tujuh hari pertama."

Ukur bahagian akaun baharu yang mencapainya, dan masa yang diambil untuk sampai ke situ. Jika takrifan pengaktifan anda boleh dipenuhi dengan mengklik di sana sini menggunakan data sampel, ia sedang mengukur rasa ingin tahu. Kaitkannya dengan kerja pengguna sendiri.

Kedalaman dan Kekerapan Penggunaan

Setelah diaktifkan, soalannya menjadi berapa banyak dan berapa kerap. Tiga keluarga metrik merangkuminya.

Kekerapan. Contoh Gmail dalam kertas kajian HEART ialah corak yang berguna. Pasukan Gmail mahukan isyarat penglibatan yang lebih baik daripada pengguna aktif tujuh hari, jadi mereka mengukur peratusan pengguna aktif yang melawat pada lima hari atau lebih dalam minggu lalu. Para penulis melaporkan bahawa metrik ini sangat meramalkan pengekalan jangka panjang. Pengajaran untuk produk AI: pilih ambang kekerapan yang sepadan dengan kerja itu, dan semak sama ada ia meramalkan siapa yang kekal.

Nisbah kelekatan. DAU/MAU (pengguna aktif harian dibahagi pengguna aktif bulanan) ialah singkatan yang lazim. Ia sesuai untuk produk yang digunakan setiap hari dan mengelirukan untuk produk yang memang direka untuk digunakan setiap minggu atau bulan. Pilih tetingkap yang sepadan dengan kitaran semula jadi kerja itu, seperti pengguna aktif mingguan berbanding pengguna aktif bulanan.

Kedalaman. Kira apa yang dilakukan pengguna dalam setiap sesi, bukan sama ada mereka muncul. Isyarat kedalaman yang berguna untuk produk AI:

• Tugasan disiapkan bagi setiap pengguna aktif, setiap minggu
• Bahagian pengguna yang menjalankan lebih daripada satu jenis tugasan
• Bahagian kerja yang disalurkan melalui produk berbanding dilakukan dengan cara lain
• Penggunaan ciri yang memerlukan lebih banyak persediaan, seperti integrasi atau konteks yang disimpan

Produk yang digunakan untuk satu tugasan sempit mudah diganti. Produk yang digunakan merentasi empat aliran kerja mempunyai kos pertukaran.

Penerimaan Output dan Kejayaan Tugasan

Di sinilah produk AI memerlukan metrik yang tidak diperlukan oleh perisian biasa. Output AI bukan satu klik yang sama ada berlaku atau tidak. Pengguna boleh menerimanya, menyuntingnya atau membuangnya, dan setiap pilihan ialah isyarat penggunaan.

Kadar penerimaan ialah contoh yang paling jelas. Dalam kajian GitHub Productivity Assessment of Neural Code Completion (Ziegler et al., MAPS 2022), para penulis mentakrifkan kadar penerimaan sebagai pecahan cadangan yang dipaparkan yang diterima untuk dimasukkan ke dalam fail sumber. Mereka memadankan jawapan tinjauan daripada 2,047 pengguna pratonton teknikal Copilot dengan data penggunaan daripada IDE. Kadar penerimaan ialah ukuran penggunaan yang paling baik meramalkan produktiviti yang dirasai pembangun, dengan korelasi 0.24, lebih baik daripada ukuran tempoh kod yang diterima kekal tanpa perubahan. Para penulis berhati-hati menyatakan bahawa banyak varians masih tidak dapat dijelaskan dan kadar penerimaan sesuai untuk pemantauan kasar, bukan diagnosis terperinci.

Bacalah dapatan itu seadanya: korelasi dengan produktiviti yang dilaporkan sendiri dalam satu produk, dalam kalangan pengguna pratonton. Ia menyokong kadar penerimaan sebagai isyarat barisan pertama, bukan sebagai bukti nilai. Pengguna boleh menerima cadangan yang biasa-biasa sahaja kerana menyuntingnya lebih memerlukan usaha daripada menolaknya.

Bina satu keluarga kecil metrik peringkat tugasan dan bukannya satu metrik sahaja:

Gandingkan metrik ini dengan penilaian kualiti berkala supaya perubahan dalam penerimaan tidak disalah tafsir. Lihat kepercayaan dan penilaian AI untuk cara membinanya.

Kohort Pengekalan

Pengekalan ialah metrik yang membezakan produk daripada demo. Kertas kajian HEART mentakrifkannya sebagai berapa ramai pengguna daripada sesuatu tempoh yang masih ada dalam tempoh kemudian, contohnya peratusan pengguna aktif tujuh hari dalam minggu tertentu yang masih aktif tujuh hari tiga bulan kemudian. Ia juga menyatakan bahawa selang yang betul berbeza-beza, dengan minggu ke minggu sesuai untuk sesetengah produk dan bulanan atau 90 hari untuk yang lain.

Cara standard untuk membacanya ialah jadual kohort. Kumpulkan pengguna mengikut minggu mereka bermula, kemudian jejaki bahagian setiap kumpulan yang masih aktif pada setiap minggu berikutnya. Baris ialah kohort, lajur ialah minggu sejak pendaftaran.

Apa yang perlu dicari:

• Lengkung yang mendatar. Jika setiap kohort menurun dan kemudian stabil pada peratusan tertentu, anda mempunyai teras pengguna yang mendapati produk itu berkesan. Jika lengkung terus jatuh ke arah sifar, anda belum mempunyai pengekalan.
• Kohort baharu mengatasi kohort lama. Inilah bukti paling jelas bahawa perubahan produk dan onboarding berkesan. Pengekalan campuran menyembunyikannya, kerana pengguna lama mencairkan purata.

Pengekalan di peringkat pengguna menyumbang kepada angka peringkat akaun yang dibincangkan dalam pengekalan hasil bersih. Metrik penerimaan ialah petunjuk pendahulu bagi petunjuk susulan itu.

Penerimaan Peringkat Kerusi berbanding Peringkat Akaun

Produk AI B2B dijual kepada akaun dan digunakan oleh individu, jadi anda memerlukan kedua-dua pandangan.

Penerimaan peringkat akaun bertanya sama ada pelanggan mendapat nilai sebagai sebuah organisasi: berapa banyak pasukan yang menggunakannya, sama ada ia tertanam dalam sesuatu proses, sama ada penaja eksekutif boleh menunjukkan hasil.

Penerimaan peringkat kerusi bertanya berapa ramai orang yang mempunyai lesen benar-benar menggunakannya, dan sejauh mana. Kegagalan biasa ialah akaun yang membeli 200 kerusi selepas projek rintis yang berjaya, tetapi hanya 30 orang menggunakannya setiap minggu. Perbualan pembaharuan bermula dengan lesen yang tidak digunakan, dan pasukan kewangan pembeli akan melihatnya sebelum anda.

Jejaki bahagian aktif kerusi berbayar, dan taburan penggunaan merentasinya. Purata menyembunyikan corak itu. Selalunya segelintir pengguna kuasa menjana sebahagian besar penggunaan dan selebihnya hampir tidak log masuk.

Salurkan angka-angka ini ke dalam pemarkahan kesihatan pelanggan supaya kejayaan pelanggan melihat penerimaan yang rendah sebelum tarikh pembaharuan tiba.

Jurang Antara Penggunaan dan Nilai

Penggunaan yang tinggi tidak menjamin nilai, dan penggunaan yang rendah tidak semestinya bermakna kegagalan. Asingkan kes-kes ini.

Penggunaan tanpa nilai. Pengguna membuka produk kerana pengurus menyuruh mereka, atau kerana tabiat terbentuk sebelum kebaharuannya pudar. Output tidak digunakan. Isyarat: kadar cubaan semula yang tinggi, suntingan yang banyak, penyiapan tugasan yang rendah, dan skor tinjauan yang ketinggalan berbanding aktiviti.

Nilai tanpa penggunaan. Produk mengendalikan tugasan yang jarang tetapi mahal, jadi penggunaannya rendah dan hasilnya besar.

Nilai yang tidak muncul pada papan pemuka produk. Manfaatnya jatuh di tempat lain, dalam masa kitaran, kadar ralat, atau kapasiti pasukan. Kajian NBER oleh Brynjolfsson, Li dan Raymond, Generative AI at Work, mengukur pembantu AI dalam kalangan 5,179 ejen sokongan pelanggan. Ia mendapati produktiviti, yang diukur sebagai isu diselesaikan sejam, meningkat 14 peratus secara purata, dan 34 peratus bagi pekerja baharu dan berkemahiran rendah, dengan kesan minimum ke atas pekerja berpengalaman dan berkemahiran tinggi. Perkara penting untuk pengasas bukanlah angka utama itu. Ia ialah nilai diukur berbanding hasil perniagaan dan dipecahkan mengikut jenis pengguna, dan keuntungannya tidak sekata. Purata penerimaan yang rata akan menyembunyikannya.

Inilah sebabnya metrik penerimaan mesti berkait dengan hasil yang sudah diukur oleh pelanggan. Jika anda tidak dapat menunjukkan kaitan daripada penggunaan kepada hasil, anda tidak dapat mempertahankan pembaharuan. ROI produk AI dan kes perniagaan membincangkan cara membina kaitan itu, dan projek rintis AI yang bertukar menjadi kontrak menunjukkan cara menyepakati garis dasar sebelum projek rintis bermula.

Membina Set Metrik yang Tidak Menipu

Anda tidak memerlukan tiga puluh metrik. Set praktikal untuk produk AI peringkat awal merangkumi setiap kategori HEART sekali, dan muat dalam satu halaman.

Ikut susunan Matlamat, Isyarat, Metrik. Tulis matlamatnya, seperti "ketua sokongan menyelesaikan tiket dengan lebih pantas," namakan isyaratnya, seperti "tiket ditutup dengan draf AI yang diterima," dan barulah takrifkan metriknya.

Beberapa tabiat memastikan angka kekal jujur:

• Kecualikan akaun dalaman dan ujian sebelum membaca apa-apa.
• Tetapkan takrifan sekali dan catatkannya. Mengubah takrifan pengaktifan di pertengahan suku tahun menjadikan trend tidak bermakna.
• Segmenkan mengikut jenis pelanggan. Purata merentasi pelanggan yang sangat berbeza tidak menggambarkan sesiapa pun daripada mereka.
• Letakkan metrik dalam hierarki anda. Metrik penerimaan ialah input kepada hasil seperti pengekalan dan pendapatan. Pastikan jelas yang mana pemacu dan yang mana hasil.

Fakta Utama

• Rangka kerja HEART: Happiness, Engagement, Adoption, Retention dan Task Success, diperkenalkan oleh Rodden, Hutchinson dan Fu di CHI 2010 untuk melengkapi metrik PULSE seperti paparan halaman dan pengguna aktif tujuh hari.
• Kaedah: kertas kajian yang sama menggandingkan HEART dengan proses Matlamat, Isyarat, Metrik, supaya setiap metrik boleh dikesan kembali kepada matlamat yang dinyatakan.
• Takrifkan penerimaan melalui tugasan yang disiapkan, bukan lawatan; kertas kajian itu menyatakan bahawa sesetengah produk patut mengira pengguna sebagai telah menerima produk hanya selepas tugasan utama disiapkan.
• Kadar penerimaan: dalam kajian Copilot oleh GitHub, bahagian cadangan dipaparkan yang diterima ialah ukuran penggunaan yang paling baik meramalkan produktiviti yang dirasai (korelasi 0.24, 2,047 respons tinjauan yang dipadankan), dengan banyak varians tidak dapat dijelaskan.
• Pengukuran yang dikaitkan dengan hasil: keuntungan produktiviti purata 14 peratus dalam kalangan 5,179 ejen sokongan menyembunyikan keuntungan 34 peratus bagi pekerja baharu dan kesan minimum bagi pekerja berpengalaman.
• Kohort mengatasi purata: baca pengekalan mengikut kohort pendaftaran, dan cari lengkung yang mendatar dan bukannya yang terus jatuh.
• Dua pandangan: jejaki bahagian aktif kerusi berbayar serta tahap penerapan di peringkat akaun.