Metrik Adopsi Produk AI

Oleh Brian Tr · Diperbarui 7 Oktober 2026

Adopsi produk AI adalah porsi pengguna sasaran yang berulang kali menyelesaikan tugas nyata dengan produk tersebut dan terus melakukannya. Adopsi bukan jumlah pendaftaran, login, atau seat yang terjual. Angka-angka itu mudah dikumpulkan dan membuat hampir setiap produk AI tampak bagus, karena orang mencoba alat AI karena penasaran dan banyak yang berhenti setelah seminggu.

Halaman ini menyajikan sistem pengukuran bagi para founder: kerangka kerja untuk menata metrik, metrik spesifik yang penting bagi AI, dan titik-titik di mana penggunaan dan nilai berpisah jalan. Fokusnya adalah cara mengukur, bukan cara memperbaiki. Untuk sisi perbaikan, lihat onboarding dan waktu menuju nilai serta churn produk AI.

Mengapa Pendaftaran dan Login Menyesatkan

Masalahnya lebih tajam pada AI. Produk AI yang umum memiliki kurva kebaruan: penggunaan tinggi di minggu pertama, lalu menurun begitu pembeli melihat batasannya. Pembeli juga bisa membayar seat yang tidak pernah dibuka siapa pun. Dan seorang pengguna bisa memakai produk setiap hari sementara hasilnya berakhir di tempat sampah. Masing-masing kondisi ini tampak baik-baik saja di dashboard login.

Pengukuran yang baik memisahkan empat pertanyaan: apakah orang mulai memakai, apakah mereka kembali, apakah mereka memakainya secara mendalam, dan apakah produknya berhasil? Keempatnya sangat cocok dengan kerangka kerja yang sudah dipublikasikan, jadi gunakan kerangka itu alih-alih menciptakan yang baru.

Kerangka Kerja HEART

Rodden, Hutchinson, dan Fu dari Google mengusulkan HEART dalam Measuring the User Experience on a Large Scale (CHI 2010). Singkatan ini berarti Happiness, Engagement, Adoption, Retention, dan Task Success. Para penulis menyajikannya sebagai serangkaian kategori yang dijadikan dasar bagi tim untuk memilih metrik spesifik, bukan sebagai daftar angka yang baku.

Makalah tersebut membandingkan HEART dengan apa yang disebutnya metrik PULSE: page views, uptime, latensi, pengguna aktif tujuh hari, dan pendapatan. Menurut para penulis, metrik PULSE tetap penting, tetapi metrik itu melacak kesehatan bisnis dan teknis, bukan kualitas pengalaman pengguna. HEART dimaksudkan untuk melengkapinya.

Makalah itu juga menyediakan metode kerjanya: Goals, Signals, Metrics. Pertama, nyatakan apa yang harus dicapai produk atau fitur bagi pengguna, lalu sebutkan sinyal yang akan menunjukkan hal itu terjadi, kemudian bangun metrik dari sinyal tersebut.

Tiga detail dari makalah tersebut berlaku langsung untuk produk AI.

Tidak setiap kategori cocok untuk setiap produk. Para penulis mencatat bahwa Engagement mungkin tidak bermakna dalam lingkungan perusahaan, di mana orang memang diharapkan memakai produk sebagai bagian dari pekerjaan mereka. Dalam kasus itu, tim dapat bertumpu pada Happiness atau Task Success. Sebagian besar produk AI B2B berada dalam situasi ini, jadi jangan memaksakan target penggunaan harian pada alat yang dibuka orang saat pekerjaan datang.

Laporkan engagement per pengguna, bukan secara total. Makalah itu menyarankan rata-rata per pengguna, karena total yang meningkat bisa berasal dari bertambahnya pengguna, bukan bertambahnya penggunaan. Founder yang memantau total prompt per bulan akan melihat pertumbuhan setiap bulan, sementara produknya tetap dangkal.

Definisikan "teradopsi" sebagai tugas yang diselesaikan. Makalah itu menyebutkan bahwa pada sebagian produk, mengunjungi situs saja sudah bisa dihitung sebagai penggunaan, sementara pada produk lain seorang pengunjung baru dihitung teradopsi setelah menyelesaikan tugas kunci. Untuk produk AI, definisi kedua hampir selalu yang tepat.

Aktivasi: Mendefinisikan Penggunaan Nyata Pertama

Aktivasi adalah momen ketika pengguna baru memperoleh hasil pertama yang ingin mereka simpan. Aktivasi berada di antara pendaftaran dan kebiasaan, dan inilah metrik yang paling layak didefinisikan dengan cermat, karena semua yang terjadi sesudahnya bergantung padanya.

Definisi aktivasi yang dapat dipakai memiliki tiga bagian:

1. Tindakan spesifik, misalnya "menjalankan workflow pertama pada data nyata", bukan "membuat akun".
2. Syarat kualitas, misalnya "menerima atau mengekspor hasilnya".
3. Jangka waktu, misalnya "dalam tujuh hari pertama".

Ukur porsi akun baru yang mencapainya, dan waktu yang mereka butuhkan untuk sampai ke sana. Jika definisi aktivasi Anda dapat dipenuhi hanya dengan mengeklik ke sana kemari menggunakan data contoh, yang diukur adalah rasa penasaran. Kaitkan definisi itu dengan pekerjaan pengguna sendiri.

Kedalaman dan Frekuensi Penggunaan

Setelah teraktivasi, pertanyaannya menjadi seberapa banyak dan seberapa sering. Tiga kelompok metrik mencakup hal ini.

Frekuensi. Contoh Gmail dalam makalah HEART adalah pola yang berguna. Tim Gmail menginginkan sinyal engagement yang lebih baik daripada pengguna aktif tujuh hari, sehingga mereka mengukur persentase pengguna aktif yang berkunjung pada lima hari atau lebih dalam seminggu terakhir. Para penulis melaporkan bahwa metrik ini sangat prediktif terhadap retensi jangka panjang. Pelajaran bagi produk AI: pilih ambang frekuensi yang sesuai dengan pekerjaannya, dan periksa apakah ambang itu memprediksi siapa yang bertahan.

Rasio kelekatan. DAU/MAU (pengguna aktif harian dibagi pengguna aktif bulanan) adalah singkatan yang umum. Rasio ini cocok untuk produk yang dipakai setiap hari dan menyesatkan untuk produk yang memang dirancang untuk dipakai mingguan atau bulanan. Pilih jendela waktu yang sesuai dengan siklus alami pekerjaan, misalnya aktif mingguan dibanding aktif bulanan.

Kedalaman. Hitung apa yang dilakukan pengguna per sesi, bukan sekadar apakah mereka muncul. Sinyal kedalaman yang berguna untuk produk AI:

• Tugas yang diselesaikan per pengguna aktif, per minggu
• Porsi pengguna yang menjalankan lebih dari satu jenis tugas
• Porsi pekerjaan yang dialirkan melalui produk dibanding yang dikerjakan dengan cara lain
• Penggunaan fitur yang memerlukan penyiapan lebih banyak, seperti integrasi atau konteks tersimpan

Produk yang dipakai untuk satu tugas sempit mudah digantikan. Produk yang dipakai di empat workflow memiliki biaya peralihan.

Penerimaan dan Keberhasilan Tugas

Di sinilah produk AI membutuhkan metrik yang tidak dibutuhkan perangkat lunak biasa. Hasil AI bukanlah klik yang terjadi atau tidak terjadi. Pengguna dapat menerimanya, menyuntingnya, atau membuangnya, dan setiap pilihan itu adalah sinyal penggunaan.

Tingkat penerimaan adalah contoh yang paling jelas. Dalam studi GitHub Productivity Assessment of Neural Code Completion (Ziegler dkk., MAPS 2022), para penulis mendefinisikan tingkat penerimaan sebagai fraksi saran yang ditampilkan dan diterima untuk dimasukkan ke dalam file sumber. Mereka mencocokkan jawaban survei dari 2.047 pengguna pratinjau teknis Copilot dengan data penggunaan dari IDE. Tingkat penerimaan adalah ukuran penggunaan yang paling baik memprediksi produktivitas yang dirasakan developer, dengan korelasi 0,24, lebih baik daripada ukuran berapa lama kode yang diterima bertahan tanpa diubah. Para penulis berhati-hati menyatakan bahwa banyak variansi yang tidak terjelaskan dan bahwa tingkat penerimaan cocok untuk pemantauan kasar, bukan diagnosis yang terperinci.

Bacalah temuan itu apa adanya: korelasi dengan produktivitas yang dilaporkan sendiri pada satu produk, di kalangan pengguna pratinjau. Temuan ini mendukung tingkat penerimaan sebagai sinyal lini pertama, bukan sebagai bukti nilai. Pengguna bisa menerima saran yang biasa-biasa saja karena menyuntingnya lebih merepotkan daripada menolaknya.

Bangun sekelompok kecil metrik tingkat tugas, alih-alih hanya satu:

Padukan metrik ini dengan evaluasi kualitas rutin agar perubahan tingkat penerimaan tidak disalahartikan. Lihat kepercayaan dan evaluasi AI untuk cara membangunnya.

Kohort Retensi

Retensi adalah metrik yang membedakan produk dari demo. Makalah HEART mendefinisikannya sebagai jumlah pengguna dari suatu periode yang masih ada pada periode berikutnya, misalnya persentase pengguna aktif tujuh hari pada minggu tertentu yang masih aktif tujuh hari tiga bulan kemudian. Makalah itu juga mencatat bahwa interval yang tepat bervariasi: minggu ke minggu cocok untuk sebagian produk, sedangkan bulanan atau 90 hari cocok untuk produk lain.

Cara standar untuk membacanya adalah tabel kohort. Kelompokkan pengguna berdasarkan minggu mereka mulai, lalu lacak porsi setiap kelompok yang masih aktif di setiap minggu berikutnya. Baris adalah kohort, kolom adalah minggu sejak pendaftaran.

Hal yang perlu diperhatikan:

• Kurva yang mendatar. Jika setiap kohort turun lalu stabil pada persentase tertentu, Anda memiliki inti pengguna yang merasakan manfaat produk. Jika kurva terus turun menuju nol, Anda belum memiliki retensi.
• Kohort baru mengungguli kohort lama. Inilah bukti paling bersih bahwa perubahan produk dan onboarding berhasil. Retensi gabungan menyembunyikannya, karena pengguna lama mengencerkan rata-rata.

Retensi di tingkat pengguna menjadi masukan bagi angka tingkat akun yang dibahas dalam net revenue retention. Metrik adopsi adalah indikator awal bagi indikator lanjutan tersebut.

Adopsi Tingkat Seat vs Tingkat Akun

Produk AI B2B dijual kepada akun dan dipakai oleh individu, sehingga Anda membutuhkan kedua sudut pandang.

Adopsi tingkat akun menanyakan apakah pelanggan memperoleh nilai sebagai sebuah organisasi: berapa banyak tim yang memakainya, apakah produk sudah tertanam dalam suatu proses, apakah sponsor eksekutif dapat menunjukkan hasilnya.

Adopsi tingkat seat menanyakan berapa banyak orang pemegang lisensi yang benar-benar memakainya, dan seberapa dalam. Kegagalan yang umum adalah akun yang membeli 200 seat setelah uji coba yang sukses, tetapi hanya 30 orang yang memakainya setiap minggu. Percakapan perpanjangan dimulai dengan lisensi yang tidak terpakai, dan tim keuangan pembeli akan melihatnya sebelum Anda.

Lacak porsi aktif dari seat berbayar, dan sebaran penggunaan di antara seat tersebut. Rata-rata menyembunyikan polanya. Sering kali segelintir pengguna andal menghasilkan sebagian besar penggunaan, sementara sisanya nyaris tidak pernah login.

Masukkan angka-angka ini ke dalam penilaian kesehatan pelanggan agar customer success melihat adopsi yang rendah sebelum tanggal perpanjangan tiba.

Kesenjangan antara Penggunaan dan Nilai

Penggunaan yang tinggi tidak menjamin nilai, dan penggunaan yang rendah tidak selalu berarti kegagalan. Pisahkan kasus-kasus berikut.

Penggunaan tanpa nilai. Pengguna membuka produk karena diperintah manajer, atau karena kebiasaan sudah terbentuk sebelum kebaruannya memudar. Hasilnya tidak dipakai. Sinyalnya: tingkat pengulangan tinggi, banyak suntingan, penyelesaian tugas rendah, dan skor survei yang tertinggal dari aktivitas.

Nilai tanpa penggunaan. Produk menangani tugas yang jarang tetapi mahal, sehingga penggunaannya rendah dan hasilnya besar.

Nilai yang tidak muncul di dashboard produk. Manfaatnya muncul di tempat lain, pada waktu siklus, tingkat kesalahan, atau kapasitas tim. Studi NBER oleh Brynjolfsson, Li, dan Raymond, Generative AI at Work, mengukur asisten AI di kalangan 5.179 agen dukungan pelanggan. Studi itu menemukan bahwa produktivitas, yang diukur sebagai jumlah masalah yang diselesaikan per jam, naik rata-rata 14 persen, dan 34 persen untuk pekerja pemula dan berketerampilan rendah, dengan dampak minimal pada pekerja berpengalaman dan berketerampilan tinggi. Poin bagi founder bukanlah angka utamanya. Poinnya adalah nilai diukur terhadap hasil bisnis dan dipilah berdasarkan jenis pengguna, dan peningkatannya tidak merata. Rata-rata adopsi yang datar akan menyembunyikan hal itu.

Inilah sebabnya metrik adopsi harus terhubung dengan hasil yang sudah diukur pelanggan. Jika Anda tidak dapat menunjukkan kaitan dari penggunaan ke hasil, Anda tidak dapat mempertahankan perpanjangan kontrak. ROI produk AI dan business case membahas cara membangun kaitan itu, dan uji coba AI yang berujung kontrak menunjukkan cara menyepakati baseline sebelum uji coba dimulai.

Membangun Set Metrik yang Tidak Berbohong

Anda tidak membutuhkan tiga puluh metrik. Set praktis untuk produk AI tahap awal mencakup setiap kategori HEART satu kali, dan muat dalam satu halaman.

Ikuti urutan Goals, Signals, Metrics. Tuliskan tujuannya, misalnya "seorang pimpinan dukungan menyelesaikan tiket lebih cepat", sebutkan sinyalnya, misalnya "tiket ditutup dengan draf AI yang diterima", dan baru setelah itu definisikan metriknya.

Beberapa kebiasaan menjaga angka tetap jujur:

• Kecualikan akun internal dan akun uji sebelum membaca apa pun.
• Tetapkan definisi sekali saja dan tuliskan. Mengubah definisi aktivasi di tengah kuartal membuat tren tidak bermakna.
• Segmentasikan berdasarkan jenis pelanggan. Rata-rata dari pelanggan yang sangat berbeda tidak menggambarkan satu pun di antara mereka.
• Tempatkan metrik dalam hierarki Anda. Metrik adopsi adalah masukan bagi hasil seperti retensi dan pendapatan. Jelaskan mana yang menjadi pendorong dan mana yang menjadi hasil.

Fakta Utama

• Kerangka kerja HEART: Happiness, Engagement, Adoption, Retention, dan Task Success, diperkenalkan oleh Rodden, Hutchinson, dan Fu di CHI 2010 untuk melengkapi metrik PULSE seperti page views dan pengguna aktif tujuh hari.
• Metode: makalah yang sama memasangkan HEART dengan proses Goals, Signals, Metrics, sehingga setiap metrik dapat ditelusuri kembali ke tujuan yang dinyatakan.
• Definisikan adopsi berdasarkan tugas yang diselesaikan, bukan kunjungan; makalah itu mencatat bahwa sebagian produk sebaiknya menghitung pengguna sebagai teradopsi hanya setelah tugas kunci diselesaikan.
• Tingkat penerimaan: dalam studi Copilot GitHub, porsi saran yang ditampilkan dan diterima adalah ukuran penggunaan yang paling baik memprediksi produktivitas yang dirasakan (korelasi 0,24, 2.047 respons survei yang dicocokkan), dengan banyak variansi yang tidak terjelaskan.
• Pengukuran yang terkait hasil: peningkatan produktivitas rata-rata 14 persen di kalangan 5.179 agen dukungan menyembunyikan peningkatan 34 persen bagi pekerja pemula dan dampak minimal bagi pekerja berpengalaman.
• Kohort di atas rata-rata: baca retensi per kohort pendaftaran, dan cari kurva yang mendatar, bukan kurva yang terus turun.
• Dua sudut pandang: lacak porsi aktif dari seat berbayar sekaligus tingkat keterbenaman di level akun.