Menyusun Kasus ROI untuk Produk AI

Menyusun Kasus ROI Produk AI: Gunakan baseline milik pembeli, hitung total biaya kepemilikan, dan uji seberapa besar peningkatan terukur yang benar-benar menjadi nilai finansial.

Turn this article into takeaways for your work.

Each assistant summarizes the article only for you and suggests best practices for your work.

Kasus ROI untuk produk AI harus menjawab pertanyaan yang lebih sulit dibanding perangkat lunak biasa. Pembeli tidak hanya bertanya "apakah manfaatnya lebih besar dari harganya?" Mereka bertanya apakah manfaatnya nyata, apakah manfaat itu akan muncul di pos yang dapat dilihat tim keuangan, dan apakah biaya sebenarnya, yang bergerak mengikuti pemakaian dan membutuhkan orang untuk mengawasinya, telah dihitung dengan jujur.

Halaman ini ditulis untuk vendor AI dan untuk champion di pihak pembeli yang harus mempertahankan keputusan pembelian. Pembahasannya mencakup pengungkit nilai, mengapa "jam yang dihemat" saja biasanya gagal, cara menetapkan baseline, seperti apa total biaya kepemilikan (TCO) untuk AI, cara menjalankan skenario konservatif, ekspektasi, dan optimistis, serta bagaimana bukti seharusnya berkembang dari estimasi pra-penjualan ke uji coba hingga perpanjangan kontrak. Untuk rumus umum dan struktur dokumennya, lihat ROI dan pembuatan business case. Halaman ini membahas hal-hal yang khusus untuk AI.

Enam Pengungkit Nilai

Sebagian besar business case AI mengandalkan segelintir pengungkit yang sama. Menyebutkannya secara terpisah itu penting, karena masing-masing diukur dengan cara berbeda dan masing-masing meyakinkan orang yang berbeda dalam komite pembelian.

Pengungkit Artinya Cara mengukurnya Siapa yang paling peduli
Waktu yang dihemat Lebih sedikit waktu manusia per tugas Menit per tugas, sebelum dan sesudah Manajer operasional
Throughput Lebih banyak unit ditangani dengan tim yang sama Tugas selesai per orang per periode Operasional, COO
Kualitas dan pengurangan kesalahan Lebih sedikit kesalahan, lebih sedikit pengerjaan ulang Tingkat kesalahan, jam pengerjaan ulang, eskalasi Kualitas, kepatuhan
Peningkatan pendapatan Lebih banyak lead digarap, respons lebih cepat, konversi lebih baik Tingkat konversi, pipeline yang tercipta, win rate Pemimpin penjualan, CRO
Penghindaran biaya Pekerjaan yang tidak lagi memerlukan rekrutmen atau vendor luar Jumlah karyawan atau belanja kontraktor yang dihindari CFO
Pengurangan risiko Peluang kegagalan mahal yang lebih kecil Tingkat insiden, temuan audit Hukum, keamanan, CFO

Kasus yang kredibel biasanya mengedepankan satu atau dua pengungkit dan memperlakukan sisanya sebagai potensi tambahan yang tidak dihitung. Kasus yang mengklaim keenamnya sekaligus terbaca seperti daftar keinginan, dan peninjau keuangan akan memangkasnya hingga hanya tersisa yang dapat mereka verifikasi.

Mengapa "Jam yang Dihemat" Saja Jarang Lolos dari CFO

Waktu yang dihemat adalah klaim paling alami untuk produk AI sekaligus yang paling mudah dipatahkan. Alasannya sederhana: waktu yang dihemat bukanlah biaya yang dihilangkan.

Kapan Penghematan Waktu AI Menjadi Nilai: Jam yang dibebaskan baru bernilai finansial jika menyerap lebih banyak pekerjaan, mendukung pendapatan, atau menghindari biaya rekrutmen atau kontraktor yang direncanakan.

Jika sebuah alat menghemat 30 menit per hari untuk setiap orang, tidak ada yang berubah di laporan laba rugi kecuali ada sesuatu yang terjadi dengan waktu tersebut. Entah perusahaan membutuhkan lebih sedikit orang (pengurangan jumlah karyawan atau kontraktor, atau rencana rekrutmen yang tidak lagi membutuhkan suatu posisi), atau orang yang sama menangani lebih banyak pekerjaan (throughput), atau mereka beralih ke pekerjaan yang menghasilkan pendapatan. Sampai salah satu hal itu terjadi, penghematan tersebut nyata bagi karyawan tetapi tidak terlihat oleh CFO.

Jadi pertanyaan yang perlu dimasukkan dalam kasus bukanlah "berapa jam yang dibebaskan?" tetapi "ke mana jam-jam itu pergi?" Jawaban yang baik bersifat spesifik:

  • Backlog yang saat ini membutuhkan dua rekrutmen tambahan tidak akan membutuhkannya lagi.
  • Tim yang menolak pekerjaan karena kapasitasnya penuh akan menerimanya.
  • Para sales rep mendapat tambahan 30 menit untuk menjual dan kasusnya menyebutkan apa yang diharapkan dihasilkan dari waktu tersebut.

Vendor yang menjawab pertanyaan ini sebelum CFO menanyakannya biasanya adalah yang lolos tinjauan. Disiplin yang sama muncul dalam value selling: nilai adalah hasil yang dapat dinyatakan pembeli dengan istilah mereka sendiri, bukan aktivitas yang dipercepat produk Anda.

Satu peringatan lagi. Angka waktu yang dihemat tanpa keterangan populasi atau tugas adalah bukti terlemah di ruangan. Hal ini membawa kita ke riset yang telah dipublikasikan.

Apa yang Didukung dan Tidak Didukung oleh Bukti yang Dipublikasikan

Tiga studi yang banyak dikutip memberi vendor dan champion angka nyata untuk digunakan. Masing-masing mengukur populasi tertentu pada jenis tugas tertentu, dan kasusnya harus menyatakan hal itu.

Agen dukungan pelanggan. Brynjolfsson, Li, dan Raymond meneliti pengenalan bertahap asisten percakapan AI generatif menggunakan data dari 5.179 agen dukungan pelanggan. Dalam makalah kerja NBER mereka, akses ke alat tersebut meningkatkan produktivitas, yang diukur dari jumlah masalah yang diselesaikan per jam, rata-rata sebesar 14%, termasuk peningkatan 34% untuk pekerja pemula dan berketerampilan rendah, dengan dampak minimal pada pekerja berpengalaman dan berketerampilan tinggi. Ini adalah operasi dukungan di satu perusahaan. Angka 14% berlaku untuk masalah yang diselesaikan per jam di antara agen tersebut, bukan untuk pekerjaan lain.

Tugas penulisan profesional. Noy dan Zhang menjalankan eksperimen daring yang telah diregistrasi sebelumnya dengan 444 profesional berpendidikan perguruan tinggi yang mengerjakan tugas penulisan khusus profesi dengan insentif, dengan separuhnya secara acak diberi akses ke ChatGPT. Dalam makalah kerja mereka (Maret 2023, belum melalui peer review pada versi tersebut), waktu yang dibutuhkan turun 0,8 standar deviasi dan kualitas output naik 0,4 standar deviasi, serta distribusi produktivitas menyempit karena pekerja berkemampuan rendah memperoleh manfaat lebih besar. Ini adalah efek pada tugas penulisan singkat tingkat menengah dalam sebuah eksperimen, bukan pada satu minggu kerja penuh.

Konsultan dan "jagged frontier". Ringkasan dari Harvard Business School AI Institute tentang studi yang dilakukan bersama Boston Consulting Group mencakup 758 konsultan, sekitar 7% dari tenaga kontributor individual perusahaan tersebut. Untuk tugas yang berada dalam batas kemampuan AI, alat tersebut meningkatkan kecepatan lebih dari 25%, kinerja yang dinilai manusia lebih dari 40%, dan penyelesaian tugas lebih dari 12%. Para peneliti menggambarkan sebuah "jagged technological frontier" di mana AI unggul dalam sebagian tugas tetapi kurang dalam tugas lainnya. Pelajaran praktisnya adalah bahwa peningkatan bergantung pada apakah tugas pembeli berada di dalam batas tersebut, dan tidak seorang pun boleh mengasumsikan demikian.

Tiga hal yang dapat diambil dari studi-studi ini saat menyusun kasus:

  1. Cocokkan populasinya. Hasil 14% dari agen dukungan adalah bukti untuk pekerjaan bergaya dukungan, bukan untuk keuangan atau rekayasa. Sebutkan untuk tugas apa hasil Anda berlaku.
  2. Antisipasi peningkatan yang tidak merata. Dalam studi dukungan, manfaat sebagian besar dinikmati pekerja pemula. Jika tim pembeli sebagian besar berpengalaman, hasil rata-ratanya mungkin tidak berlaku. Uji coba milik pembeli sendirilah yang menjadi buktinya.
  3. Perlakukan riset luar sebagai asumsi awal, bukan janji. Riset itu membuat estimasi Anda masuk akal. Riset itu tidak menggantikan pengukuran workflow pembeli.

Tetapkan Baseline Sebelum Hal Lainnya

Klaim ROI adalah sebuah perbandingan, dan perbandingan membutuhkan titik awal. Tanpa baseline, "meningkat 20%" hanyalah pernyataan yang tidak dapat diperiksa siapa pun.

Catat kondisi metrik saat ini sebelum produk menyentuh workflow:

  • Volume dan komposisi: berapa banyak tugas, dari jenis apa, per periode.
  • Upaya per tugas: waktu penanganan atau biaya per tugas, diukur alih-alih ditebak.
  • Kualitas: tingkat kesalahan, tingkat pengerjaan ulang, atau tingkat eskalasi pada tugas yang sama.
  • Biaya penuh: gaji ditambah tunjangan dan overhead bagi orang-orang yang mengerjakan tugas tersebut.
  • Musiman: periode "sebelum" yang mencakup satu bulan sepi dan satu bulan sibuk akan menyesatkan.

Gunakan data pembeli. Rata-rata industri boleh digunakan untuk pemeriksaan kewajaran, tetapi angka yang diukur pembeli adalah angka yang akan dipercaya tim keuangannya, sebagaimana juga ditekankan dalam pembuatan business case.

Kemudian pilih cara Anda membandingkan. Ada dua pilihan yang jujur:

Metode Cara kerjanya Kelebihan Kelemahan
Kelompok kontrol Sebagian pengguna mendapat alatnya, pengguna serupa tidak, dalam periode yang sama Mengendalikan faktor musiman dan perubahan lain Membutuhkan cukup banyak pengguna yang sebanding
Sebelum dan sesudah Mengukur kelompok yang sama sebelum dan sesudah peluncuran Mudah dijalankan Apa pun yang berubah dalam rentang waktu itu dianggap sebagai hasil AI

Kelompok kontrol adalah desain yang lebih kuat, dan peluncuran bertahap dalam studi dukungan memberi para penulisnya versi dari desain tersebut. Jika kelompok kontrol tidak memungkinkan, perbandingan sebelum dan sesudah dapat digunakan asalkan Anda juga mencatat apa lagi yang berubah selama periode tersebut, seperti karyawan baru, perubahan harga, atau puncak musiman.

Total Biaya Kepemilikan untuk Produk AI

Kelemahan paling umum dalam kasus ROI vendor adalah sisi biaya yang berhenti di langganan. Peninjau keuangan akan menyusun gambaran yang lebih lengkap sendiri, dan vendor yang menunjukkannya lebih dulu tampak lebih kredibel.

Apa Itu Total Biaya Kepemilikan AI?: Biaya kepemilikan AI mencakup platform, pemakaian, integrasi, persiapan data, tinjauan manusia, manajemen perubahan, dan tata kelola.

Pos biaya Yang dicakup Sifatnya
Langganan atau biaya platform Biaya sesuai kontrak Tetap per periode
Biaya berbasis pemakaian atau inferensi Tagihan yang naik seiring volume, panggilan, atau output Variabel, meningkat seiring adopsi
Integrasi Menghubungkan ke CRM, sistem tiket, penyimpanan data, identitas Sebagian besar sekali bayar
Persiapan data Membersihkan, melabeli, menstrukturkan input pembeli Sekali bayar ditambah pemeliharaan
Tinjauan dan pengawasan manusia Waktu yang dihabiskan untuk memeriksa output dan menangani pengecualian Berkelanjutan, sering diremehkan
Manajemen perubahan Pelatihan, prosedur baru, komunikasi Sebagian besar di awal
Tata kelola dan keamanan Tinjauan, kebijakan, audit, pekerjaan risiko vendor Di awal ditambah berkelanjutan

Dua pos perlu ditekankan.

Biaya variabel mengubah hasilnya. Jika sebagian biaya bergantung pada pemakaian, maka keberhasilan justru menaikkan tagihan. Kasus harus menunjukkan biaya pada volume yang diharapkan dan pada volume yang lebih tinggi, sehingga pembeli melihat apa yang terjadi jika adopsi melampaui rencana. Harga berbasis penggunaan versus harga berbasis hasil menjelaskan bagaimana struktur ini mengubah eksposur pembeli.

Tinjauan manusia adalah biaya nyata. Jika seseorang masih memeriksa sebagian output, waktu itu harus masuk ke dalam model. Mengabaikannya adalah cara tercepat membuat CFO tidak memercayai angka-angka lainnya. Tingkat tinjauan juga merupakan sesuatu yang dapat diukur dalam uji coba, itulah sebabnya uji coba adalah tempat yang tepat untuk mengganti tebakan.

Contoh Perhitungan (Hanya Ilustrasi)

Angka di bawah ini dikarang untuk menunjukkan perhitungannya. Angka ini tidak menggambarkan perusahaan atau produk nyata, dan angka Anda akan berbeda.

ROI AI Bergantung pada Nilai yang Terealisasi: Dalam kasus dukungan ilustratif, biaya kepemilikan yang sama menghasilkan kerugian, imbal hasil sedang, atau imbal hasil kuat seiring perubahan asumsi.

Misalkan sebuah tim dukungan menangani 20.000 tiket per bulan dengan waktu 0,25 jam per tiket, atau 5.000 jam penanganan per bulan. Biaya tenaga kerja penuh adalah $30 per jam, sehingga biaya penanganan mencapai $150.000 per bulan.

Biaya. Biaya platform sebesar $48.000 per tahun. Biaya pemakaian sebesar $0,15 per tiket yang ditangani dengan alat tersebut, yaitu 20.000 x 12 x $0,15 = $36.000 per tahun pada volume ini. Tinjauan manusia sebanyak 100 jam per bulan dengan tarif $30 berarti $3.000 per bulan, atau $36.000 per tahun. Biaya sekali bayar adalah $20.000 untuk integrasi dan persiapan data serta $12.000 untuk manajemen perubahan dan tata kelola. Hasilnya adalah biaya berkelanjutan $120.000 per tahun ($10.000 per bulan), biaya sekali bayar $32.000, dan total tahun pertama $152.000.

Manfaat. Alat tersebut mengurangi waktu penanganan sebesar 10%, 20%, atau 30% tergantung skenarionya. Namun hanya sebagian dari waktu yang dibebaskan menjadi biaya yang dihilangkan atau pekerjaan tambahan yang terserap: masing-masing 40%, 60%, atau 80%.

Skenario Pengurangan waktu penanganan Jam yang dibebaskan per bulan Porsi yang terealisasi sebagai nilai Nilai per bulan Nilai per tahun
Konservatif 10% 500 40% $6.000 $72.000
Ekspektasi 20% 1.000 60% $18.000 $216.000
Optimistis 30% 1.500 80% $36.000 $432.000

Hasil, tahun pertama.

Skenario Manfaat tahun pertama Biaya tahun pertama Bersih ROI (bersih / biaya) Payback
Konservatif $72.000 $152.000 -$80.000 -52,6% Tidak pernah pada laju ini
Ekspektasi $216.000 $152.000 $64.000 42,1% 4 bulan
Optimistis $432.000 $152.000 $280.000 184,2% Sekitar 1,2 bulan

Payback adalah biaya sekali bayar $32.000 dibagi manfaat bulanan dikurangi biaya berkelanjutan bulanan $10.000: $32.000 / $8.000 = 4 bulan dalam skenario ekspektasi, dan $32.000 / $26.000 sekitar 1,2 bulan dalam skenario optimistis. Dalam skenario konservatif, nilai bulanan ($6.000) berada di bawah biaya berkelanjutan ($10.000), sehingga investasi tidak pernah kembali.

Baris terakhir itulah yang berguna. Baris itu memberi tahu kedua pihak asumsi mana yang menjadi tumpuan seluruh kasus: besarnya pengurangan waktu penanganan dan porsi waktu yang dibebaskan yang menjadi nilai nyata. Itulah dua angka yang harus diukur dalam uji coba.

Analisis Sensitivitas: Tunjukkan Rentang, Bukan Satu Titik

Satu angka ROI mengundang satu perdebatan. Tiga skenario mengundang percakapan tentang asumsi mana yang dapat dipercaya.

  • Konservatif: batas bawah yang masih akan Anda pertahankan jika uji coba mengecewakan.
  • Ekspektasi: angka yang paling didukung oleh bukti.
  • Optimistis: apa yang terjadi jika adopsi dan hasil sama-sama melampaui rencana.

Variasikan input yang paling berpengaruh dan sebutkan input mana saja itu. Dalam contoh di atas, tingkat realisasi menggerakkan hasil sama besarnya dengan peningkatan produktivitas. Jika tim keuangan pembeli sendiri memilih asumsi konservatif, itu pertanda baik: kini merekalah pemilik kasusnya. Kasus yang tetap berhasil dengan angka mereka jauh lebih mudah disetujui dibanding kasus yang hanya berhasil dengan angka Anda.

Bagaimana Bukti Berkembang Sepanjang Deal

Kasus ROI yang sama matang melalui tiga tahap, dan setiap tahap harus mengganti tebakan dengan pengukuran.

Bagaimana Bukti ROI AI Berkembang: Asumsi pra-penjualan menjadi pengukuran workflow pembeli dalam uji coba, lalu nilai produksi yang terealisasi dan biaya aktual saat perpanjangan.

Tahap Bukti Tingkat keyakinan Yang perlu diminta
Estimasi pra-penjualan Baseline pembeli ditambah riset luar sebagai asumsi awal Rendah hingga sedang Sepakati baseline dan metriknya
Pengukuran uji coba Hasil terukur pada workflow pembeli sendiri, kelompok kontrol atau sebelum dan sesudah Sedang hingga tinggi Sepakati kriteria keberhasilan sejak awal
Bukti perpanjangan Hasil dari produksi langsung selama satu periode penuh, dengan biaya aktual Tinggi Tunjukkan nilai yang terealisasi dibandingkan kasus awal

Pada tahap pra-penjualan, pembingkaian yang jujur adalah "inilah rentangnya dan asumsi di baliknya." Pada tahap uji coba, tujuannya adalah mengganti dua atau tiga asumsi paling berisiko dengan pengukuran, seperti dijelaskan dalam mengapa demo lebih penting untuk produk AI, termasuk aturan keputusan tertulis. Saat perpanjangan, pembeli bertanya apakah investasinya membuahkan hasil, sehingga laporan baliknya adalah perbandingan hasil aktual dengan kasus awal, termasuk bagian-bagian di mana kenyataannya lebih rendah. Vendor yang melaporkannya secara terus terang jauh lebih mungkin dipercaya tahun berikutnya. Halaman dari uji coba ke kontrak membahas cara mengubah bukti tersebut menjadi komitmen komersial, dan menjual AI kepada pembeli yang skeptis membahas cara menyajikannya kepada orang-orang yang memperkirakan akan kecewa. Tim keuangan juga biasanya menjadi bagian dari komite pembelian AI, jadi susunlah kasusnya untuk pembaca tersebut.

Daftar Periksa untuk Kasus ROI

  • Apakah kasus mengedepankan satu atau dua pengungkit dan tidak mengklaim keenamnya?
  • Apakah kasus menyebutkan ke mana waktu yang dibebaskan pergi, dan siapa yang mengonfirmasinya?
  • Apakah ada baseline terukur dari data pembeli?
  • Apakah metode perbandingannya dinyatakan (kelompok kontrol atau sebelum dan sesudah)?
  • Apakah sisi biaya mencakup biaya pemakaian, integrasi, persiapan data, waktu tinjauan, manajemen perubahan, dan tata kelola?
  • Apakah ada skenario konservatif, ekspektasi, dan optimistis dengan asumsi yang ditampilkan?
  • Apakah setiap angka dari luar dicocokkan dengan populasi dan tugas asalnya?
  • Apakah rencana uji coba mengukur dua atau tiga asumsi yang menjadi tumpuan kasus?

Fakta Utama

  • Agen dukungan pelanggan: pada 5.179 agen di satu perusahaan, akses ke asisten AI generatif meningkatkan jumlah masalah yang diselesaikan per jam rata-rata sebesar 14% dan 34% untuk pekerja pemula dan berketerampilan rendah, dengan dampak minimal pada pekerja berpengalaman (Brynjolfsson, Li, dan Raymond, NBER w31161).
  • Tugas penulisan profesional: dalam eksperimen yang telah diregistrasi sebelumnya dengan 444 profesional berpendidikan perguruan tinggi, ChatGPT memangkas waktu yang dibutuhkan sebesar 0,8 SD dan meningkatkan kualitas sebesar 0,4 SD, serta menyempitkan distribusi produktivitas (Noy dan Zhang, makalah kerja Maret 2023).
  • Konsultan dalam batas kemampuan AI: pada 758 konsultan, tugas di dalam batas tersebut mengalami peningkatan kecepatan lebih dari 25%, kinerja yang dinilai manusia lebih dari 40%, dan penyelesaian tugas lebih dari 12%, sementara AI kurang mampu pada tugas lain (ringkasan HBS AI Institute).
  • Waktu yang dihemat bukanlah biaya yang dihilangkan: penghematan baru bernilai finansial jika kapasitas dialihkan, pekerjaan terserap, atau rekrutmen dapat dihindari.
  • Biaya kepemilikan melampaui langganan: biaya pemakaian, integrasi, persiapan data, tinjauan manusia, manajemen perubahan, dan tata kelola semuanya harus masuk ke dalam model.

Bacaan Terkait

About the author

Brian Tr

Brian Tr

Co-Founder & COO

Brian Tr is Co-Founder and COO of Rework, with 12+ years in B2B go-to-market and operations. Brian scaled Rework from 0 to 10,000+ B2B customers across CRM and productivity tools. Brian writes for founders and owner-CEOs: startup fundamentals, founder-led and family businesses, partnerships, and how SaaS, marketplace, AI and EdTech companies grow.