Gelung Telemetri untuk AI dalam Produk: Membina Maklum Balas yang Berganda

Oleh Victor Hoang · Dikemas kini 19 Mei 2026

GitHub Copilot bertambah baik dengan ketara setiap beberapa bulan. Penambahbaikan itu bukan datang daripada jurutera GitHub yang bekerja lebih keras pada model. Ia datang daripada berjuta-juta pembangun yang menerima, mengubah suai, dan menolak cadangan Copilot setiap hari. Setiap interaksi ialah satu titik data. Setiap titik data menyuap versi model seterusnya. Produk itu bertambah baik kerana orang menggunakannya.

Inilah gelung telemetri: sistem berstruktur yang merakam apa yang dicadangkan oleh ciri AI, apa yang pengguna lakukan seterusnya, dan hasil yang menyusul. Ia membezakan ciri AI yang mendatar pada kualiti pelancarannya daripada ciri AI yang berganda.

Kebanyakan pasukan SaaS yang membina ciri AI melangkau perkara ini. Mereka melancarkan ciri tersebut. Mereka memantau angka penggunaan. Mereka mengisytiharkan kejayaan jika penggunaan meningkat. Kemudian, enam bulan selepas itu, mereka tertanya-tanya mengapa cadangan AI mereka masih terasa generik dan mengapa Churn dalam kalangan pengguna ciri AI tidak lebih baik daripada Churn dalam kalangan bukan pengguna.

Gelung itulah intinya. Model awal hanyalah keadaan permulaan.

Kitaran Penambahbaikan AI Gelung Tertutup

Kitaran Penambahbaikan AI Gelung Tertutup (Closed-Loop AI Improvement Cycle) ialah sistem maklum balas tiga peringkat yang menukar penggunaan AI dalam produk kepada penambahbaikan model yang berterusan. Capture: peristiwa telemetri berstruktur merakam apa yang dicadangkan AI, apa yang pengguna lakukan seterusnya, dan hasil hiliran. Measure: isyarat agregat mengira metrik kualiti mengikut jenis cadangan (kadar penerimaan, kadar pengubahsuaian, korelasi hasil). Improve: metrik kualiti disalurkan kepada mekanisme penambahbaikan yang sesuai (kejuruteraan prompt untuk ciri berasaskan API, pelarasan parameter pengambilan untuk ciri RAG, atau data fine-tuning untuk model tersuai). Kitaran tertutup apabila penambahbaikan menjana cadangan baharu yang menghasilkan peristiwa Capture baharu. Gelung yang berhenti pada Capture (merekod peristiwa tanpa mengukur atau menambah baik) bukanlah gelung. Ia ialah arkib.

Apakah sebenarnya gelung telemetri

Gelung telemetri mempunyai tiga peringkat, dipetakan kepada keupayaan Ingest dalam ACE Framework:

Capture: Kumpulkan isyarat berstruktur daripada setiap interaksi ciri AI. Apa yang dicadangkan, apa yang dipaparkan, apa konteksnya. Ini terus dipetakan kepada keupayaan Ingest dalam ACE Framework.

Measure: Agregatkan isyarat tersebut kepada metrik kualiti. Kadar penerimaan cadangan, kadar pengubahsuaian, korelasi hasil.

Improve: Salurkan semula isyarat yang diukur kepada penambahbaikan model, penghalusan prompt, atau pelarasan parameter pengambilan.

Tanpa ketiga-tiga peringkat, Anda tidak mempunyai gelung. Kebanyakan pasukan mempunyai peringkat pertama (mereka merekod peristiwa di suatu tempat), melangkau yang kedua (mereka tiada metrik kualiti), dan tidak pernah sampai ke yang ketiga (data terperap dalam gudang data dan tiada sesiapa bertindak ke atasnya).

Gelung sebenar menutup. Output Improve menyuap semula tingkah laku ciri AI, yang menjana data Capture baharu. Sistem membetulkan dirinya dari semasa ke semasa.

Fakta Utama: Gelung Telemetri dan Penambahbaikan AI

• Eksperimen isyarat tingkah laku LinkedIn mendapati isyarat tingkah laku meramalkan kualiti kandungan 4-6x lebih baik daripada penilaian eksplisit, sebab itu maklum balas tersirat (terima/ubah/tolak) ialah isyarat bernilai tinggi dalam gelung telemetri AI
• GitHub Copilot menulis hampir separuh kod seorang pembangun, dan ujian terkawal menunjukkan pembangun menyiapkan tugas 55% lebih pantas; kualiti ini mencapai tahap semasa melalui berjuta-juta isyarat penerimaan dan penolakan daripada 15 juta lebih pengguna, bukan melalui penambahbaikan model yang statik (Second Talent, 2025)
• McKinsey menerangkan dinamik berganda ini secara jelas: eksperimen lebih pantas menjana lebih banyak data, lebih banyak data memperbaiki kualiti model, prestasi lebih baik menarik lebih ramai pengguna, dan jurang antara organisasi yang menjalankan gelung ini dengan yang tidak menjadi struktural dari semasa ke semasa (McKinsey State of AI, 2025)

Tiga jenis isyarat daripada AI dalam produk

Telemetri AI dalam produk berguna apabila ia merakam isyarat tingkah laku, bukan sekadar penilaian eksplisit yang jarang diberikan pengguna.

Tidak semua maklum balas sama nilainya. Ketiga-tiga jenis ini sangat berbeza dari segi volum, ketepatan, dan tahap kesukaran pengumpulannya.

Maklum balas eksplisit paling mudah difahami dan paling kurang berguna dalam praktik. Ibu jari ke atas, ibu jari ke bawah, gesaan "adakah ini membantu?". Pengguna jarang dan tidak konsisten memberikan maklum balas eksplisit. Seseorang yang mengklik ibu jari ke bawah sekali dan tidak lagi tidak bermakna dia berhenti mempunyai pendapat. Dia hanya berhenti mengklik. LinkedIn menjalankan eksperimen ke atas mekanisme maklum balas eksplisit dan mendapati isyarat tingkah laku meramalkan kualiti kandungan 4-6x lebih baik daripada penilaian eksplisit. Corak yang sama berlaku dalam konteks produk.

Maklum balas tersirat ialah tempat isyarat sebenar berada. Pengguna tidak mengklik ibu jari ke bawah, tetapi mereka berkelakuan jujur. Mereka menerima cadangan, menyunting cadangan, mengabaikan cadangan, atau membatalkan hasilnya dan menyiapkan tugas secara manual. Tindakan ini memberitahu Anda lebih banyak tentang kualiti berbanding sebarang sistem penilaian.

Dua metrik tersirat yang paling penting ialah:

• Kadar penerimaan cadangan: Berapa peratus cadangan AI yang digunakan pengguna tanpa pengubahsuaian?
• Kadar pengubahsuaian: Daripada cadangan yang diterima pengguna, berapa banyak yang disunting sebelum dimuktamadkan?

Kadar pengubahsuaian yang tinggi memberitahu Anda bahawa arah AI betul tetapi butirannya tersasar. Kadar penerimaan yang rendah dengan kadar penyiapan manual yang tinggi memberitahu Anda bahawa titik pemasukan cadangan salah atau ambang kualiti terlalu rendah. Ini masalah yang berbeza dengan penyelesaian yang berbeza.

Maklum balas hasil paling sukar dikumpulkan dan paling bernilai. Adakah tugas yang dibantu AI menghasilkan keputusan yang lebih baik daripada setara manualnya? Adakah e-mel yang digubah AI mendapat balasan? Adakah respons sokongan yang dijana AI menyelesaikan tiket tanpa eskalasi? Adakah tindakan seterusnya yang dicadangkan AI dalam CRM membawa kepada mesyuarat yang ditempah?

Maklum balas hasil memerlukan Anda menyambungkan telemetri AI kepada hasil perniagaan hiliran, yang biasanya bermakna menggabungkan data peristiwa dengan data CRM atau tiket sokongan. Ia ialah pelaburan kejuruteraan. Tetapi sebaik sahaja Anda memilikinya, Anda boleh menjawab soalan yang benar-benar dipedulikan setiap pemimpin produk: adakah AI kami menjadikan pelanggan lebih berjaya, atau hanya menjana aktiviti?

Mengapa maklum balas tersirat mengalahkan yang eksplisit

Ekonomi tingkah laku di sini konsisten merentas produk. Orang tidak melaporkan keutamaan mereka dengan tepat. Mereka berkata mahukan satu perkara dan melakukan perkara lain. Ini berlaku untuk maklum balas ciri AI dengan cara yang sama seperti tinjauan tentang ciri produk.

Tetapi secara lebih praktikal: nisbah maklum balas tersirat kepada eksplisit dalam kebanyakan produk adalah lebih kurang 50 berbanding 1 atau lebih tinggi. Bagi setiap pengguna yang mengklik ibu jari ke bawah, lima puluh pengguna menghasilkan isyarat tingkah laku yang setara atau berkualiti lebih tinggi. Mengoptimumkan maklum balas eksplisit sahaja bermakna mengabaikan 98% isyarat yang boleh Anda gunakan.

Notion AI mempelajarinya lebih awal. Cadangan penulisan AI mereka diperhalusi berdasarkan cara pengguna menerima, mengubah suai, atau menggantikan teks yang dicadangkan, bukan terutamanya berdasarkan penilaian eksplisit. Jurutera produk dapat melihat secara agregat jenis cadangan mana yang digunakan seadanya berbanding ditulis semula berbanding diabaikan. Pandangan agregat itu membentuk keputusan kejuruteraan prompt dan pemilihan model untuk versi seterusnya.

Corak yang sama kelihatan dalam pembangunan ciri AI Linear. Cadangan triaj pepijat dan keutamaan mereka diperhalusi melalui gabungan keutamaan cadangan AI yang dibatalkan oleh jurutera, dan seberapa kerap keutamaan yang dibatalkan secara manual ternyata sepadan dengan kecemasan penyelesaian sebenar. Model itu bukan sekadar dilatih menggunakan data berlabel. Ia dilatih menggunakan jurang antara apa yang dicadangkannya dengan apa yang sebenarnya berlaku.

"Nisbah maklum balas tersirat kepada eksplisit dalam kebanyakan produk ialah 50 berbanding 1 atau lebih tinggi. Bagi setiap pengguna yang mengklik ibu jari ke bawah, lima puluh pengguna menghasilkan isyarat tingkah laku yang setara atau berkualiti lebih tinggi. Mengoptimumkan maklum balas eksplisit sahaja bermakna mengabaikan 98% isyarat yang ada." (Rework Analysis, berdasarkan penyelidikan ekonomi tingkah laku LinkedIn)

"Ciri AI statik bukan neutral. Ia ialah kos tanpa nilai berganda. Setiap bulan sesuatu ciri tidak bertambah baik melalui telemetri, jurang antara kualitinya dengan pesaing yang menjalankan gelung sebenar semakin melebar. Keputusan membina gelung ialah keputusan infrastruktur AI. Pilihan model kurang penting." (Rework Analysis, 2025)

Perbandingan Kualiti dan Volum Isyarat

Sumber: Penyelidikan isyarat tingkah laku AI LinkedIn, dokumentasi telemetri Notion AI, penyelidikan McKinsey AI Software Development 2025

Rework Analysis: Kebanyakan pasukan SaaS mempunyai Peringkat 1 gelung telemetri (merekod peristiwa) dan melangkau Peringkat 2 dan 3 (mengukur metrik kualiti dan bertindak ke atasnya). Data terperap dalam gudang dan tiada sesiapa melihatnya setiap minggu. Gelung minimum yang berdaya maju mempunyai empat komponen: peristiwa suggestion_shown, suggestion_accepted, dan suggestion_modified dalam Segment atau Amplitude; papan pemuka kadar penerimaan mingguan mengikut ciri; mesyuarat semakan prompt dua minggu sekali di mana seseorang membaca data; dan komitmen untuk melancarkan perubahan prompt bagi jenis cadangan yang paling lemah prestasinya. Itulah keseluruhan gelung.

Reka bentuk skema untuk telemetri AI

Reka bentuk skema menentukan sama ada penggunaan AI boleh dianalisis mengikut jenis cadangan, penerimaan, pengubahsuaian, dan hasil hiliran.

Skema peristiwa penting. Peristiwa yang kabur menghasilkan isyarat yang kabur. Jika telemetri Anda kelihatan seperti ai_feature_used: true, Anda tidak dapat mengira kadar pengubahsuaian, tidak dapat membahagikan mengikut jenis cadangan, dan tidak dapat mengaitkannya dengan hasil.

Skema telemetri AI yang minimum kelihatan seperti ini:

suggestion_id: UUID (links the suggestion through its lifecycle)
feature_id: string (which AI feature generated this)
session_id: string (connects to user session context)
context_hash: string (fingerprint of the context the AI received)
suggestion_type: enum (draft, autocomplete, classification, recommendation)
suggestion_shown_at: timestamp
suggestion_accepted_at: timestamp or null
suggestion_modified: boolean
modification_delta: integer (character edit distance from suggestion to final)
user_dismissed: boolean
manual_completion: boolean (user completed the task without using the suggestion)
outcome_event_id: string or null (FK to downstream outcome, if captured)

Skema ini membolehkan Anda mengira setiap metrik yang penting untuk kualiti gelung telemetri. context_hash amat penting: ia membolehkan Anda mengenal pasti sama ada konteks yang serupa mendapat cadangan yang konsisten bertambah baik atau bertambah buruk dari semasa ke semasa, iaitu pengukuran teras untuk penambahbaikan model.

Bagi pasukan yang menggunakan Segment atau Amplitude sebagai saluran peristiwa, skema ini dipetakan dengan kemas kepada peristiwa tersuai dengan sifat piawai. Penggabungan outcome_event_id memerlukan sama ada langkah pengayaan sebelah pelayan atau penggabungan hiliran dalam gudang data Anda. Sebaik sahaja skema merakam peristiwa yang betul, apa yang Anda lakukan dengan isyarat tersebut bergantung sepenuhnya pada cara ciri AI Anda dibina.

Menggunakan gelung untuk penambahbaikan model

Gelung penambahbaikan menukar telemetri kepada perubahan prompt, perubahan UX, atau perubahan model bergantung pada cara ciri AI dibina.

Apa yang Anda lakukan dengan data telemetri bergantung pada cara ciri AI Anda dibina.

Bagi ciri berasaskan API GPT-4 atau Claude (kes paling lazim untuk AI SaaS pada 2026), mekanisme penambahbaikan ialah kejuruteraan prompt. Kadar pengubahsuaian yang tinggi pada jenis cadangan tertentu memberitahu Anda prompt tidak cukup spesifik. Penyiapan manual yang konsisten selepas cadangan AI memberitahu Anda cadangan muncul pada saat yang salah dalam aliran kerja. Anda boleh mengulang prompt setiap minggu tanpa menyentuh model asas.

Bagi ciri RAG (Retrieval-Augmented Generation) (AI yang mengambil daripada Knowledge Base sebelum menjana), telemetri menyuap pelarasan parameter pengambilan. Jika pengguna secara konsisten mengabaikan cadangan AI yang memetik bahagian Knowledge Base tertentu, bahagian itu sama ada lapuk atau tidak relevan. Telemetri memberitahu Anda sumber pengambilan mana yang benar-benar menghasilkan cadangan yang digunakan berbanding hingar. Penyelenggaraan Knowledge Base AI untuk SaaS menerangkan cara bertindak ke atas isyarat ini untuk memastikan korpus pengambilan sentiasa terkini.

Bagi model fine-tuned atau tersuai (jarang bagi SaaS Series A-C), maklum balas tersirat berkualiti tinggi dengan label hasil menjadi data latihan. Data kadar pengubahsuaian pada dasarnya ialah set data keutamaan. Data korelasi hasil ialah isyarat peneguhan. Inilah pendekatan yang diambil GitHub dengan Copilot pada skala besar, tetapi ia memerlukan infrastruktur ML yang tidak seharusnya dibina kebanyakan pasukan SaaS sebelum kematangan Peringkat 4.

Parit data yang berganda

Selepas 12 bulan menjalankan gelung telemetri yang sebenar, sesuatu berubah tentang kedudukan persaingan Anda.

Ciri AI Anda telah dilatih menggunakan tingkah laku sebenar pengguna sebenar Anda yang melakukan kes penggunaan sebenar Anda. Bukan teks internet yang generik. Bukan set data penanda aras. Corak pengguna Anda, keutamaan pengguna Anda, takrifan pengguna Anda tentang "cadangan yang baik".

Pesaing yang melancarkan ciri yang sama dengan model asas yang sama bermula dari sifar. Mereka mempunyai akses API yang sama seperti yang Anda ada semasa pelancaran. Tetapi mereka tidak mempunyai data tingkah laku pengguna Anda selama 12 bulan. Mereka tidak boleh membelinya. Mereka perlu memperolehnya dengan menjalankan gelung mereka sendiri selama 12 bulan.

Beginilah gelung telemetri menjadi kelebihan daya saing yang tahan lama. Bukan daripada teknologi, yang tersedia untuk semua orang, tetapi daripada data tingkah laku terkumpul yang membentuk prestasi teknologi itu untuk pengguna khusus Anda.

Kesan berganda ini memecut pada kematangan Peringkat 4 dan 5, apabila ciri AI mula berkongsi isyarat merentas fungsi. Jika data hasil AI dalam produk Anda menyuap penskoran kesihatan AI kejayaan pelanggan Anda, dan ketepatan AI penskoran kesihatan itu menyuap semula ciri mana yang diutamakan AI dalam produk Anda, Anda sedang membina sistem pembelajaran bersepadu. Itu sangat sukar ditiru. McKinsey menerangkan dinamik berganda ini secara jelas: eksperimen lebih pantas menjana lebih banyak data, lebih banyak data memperbaiki kualiti model, prestasi lebih baik menarik lebih ramai pengguna, dan lama-kelamaan jurang antara organisasi yang menjalankan gelung ini dengan yang tidak menjadi struktural. Peringkat kematangan AI SaaS menggariskan rupa integrasi merentas fungsi ini pada setiap peringkat.

Keperluan privasi dan persetujuan

Maklum balas pengguna yang dikumpul dan digunakan untuk latihan model tidak bebas daripada keperluan pematuhan. GDPR (General Data Protection Regulation) Perkara 22 dan CCPA (California Consumer Privacy Act) kedua-duanya mempunyai keperluan berkaitan keputusan automatik dan penggunaan data. Menggunakan data tingkah laku untuk memperbaiki ciri AI yang kemudian membuat cadangan kepada pengguna boleh dikatakan termasuk dalam keputusan automatik mengikut sesetengah tafsiran.

Keperluan praktikal bagi kebanyakan syarikat SaaS ialah ini: terma perkhidmatan dan dasar privasi Anda mesti menyatakan secara jelas bahawa Anda mengumpul data penggunaan produk untuk memperbaiki ciri AI, dan pengguna memerlukan laluan menarik diri yang jelas. Rangka Kerja Pengurusan Risiko AI NIST menyediakan struktur yang berguna untuk mendokumentasikan aliran data maklum balas tingkah laku melalui saluran penambahbaikan AI, yang semakin penting apabila pasukan perolehan perusahaan menjalankan semakan tadbir urus AI mereka sendiri sebelum meluluskan alat SaaS. Ini berbeza daripada latihan AI ke atas kandungan pengguna, yang mempunyai keperluan persetujuan yang lebih ketat.

Kebimbangan tentang geseran UX adalah nyata tetapi boleh diselesaikan. Notion, Linear, dan kebanyakan produk AI SaaS utama menanganinya melalui bahagian tetapan privasi yang menerangkan apa yang dikumpul, untuk apa ia digunakan, dan cara menarik diri. Kebanyakan pengguna tidak menarik diri. Tetapi kewujudan mekanisme itu penting untuk pematuhan dan kepercayaan.

Peraturan yang lebih penting: jangan gunakan data khusus pelanggan untuk memperbaiki AI bagi pelanggan lain tanpa persetujuan jelas. Corak tingkah laku agregat umumnya tiada masalah. Kandungan jana pengguna tertentu yang digunakan sebagai contoh latihan memerlukan seni bina persetujuan yang lebih kukuh.

Antipola: ciri AI yang tidak pernah belajar

Lawan kepada gelung telemetri ialah ciri AI yang statik sejak hari pertama. Model yang sama, prompt yang sama, cadangan yang sama, tidak kira apa yang pengguna lakukan dengannya. Ciri sebegini wujud dalam banyak produk SaaS sekarang. Ia dibina oleh pasukan yang menganggap AI sebagai kotak semak: "lancarkan, ini AI."

Tanda-tanda ciri AI yang statik:

• Kualiti cadangan tidak bertambah baik dalam selang 6 bulan
• Pasukan tiada semakan mingguan terhadap metrik ciri AI
• Pasukan data tiada papan pemuka yang menjejaki kadar penerimaan atau kadar pengubahsuaian
• Perubahan prompt memerlukan kitaran sprint dan berlaku sekali suku tahun paling kerap

Ciri AI statik bukan neutral. Ia ialah kos tanpa nilai berganda. Setiap bulan ia tidak bertambah baik, jurang antara kualiti AI Anda dengan pesaing yang menjalankan gelung semakin melebar.

Keputusan membina gelung ialah keputusan infrastruktur AI. Pilihan model kurang penting.

Rupa "gelung tertutup" dalam praktik

Gelung telemetri yang tertutup menghasilkan ritual mingguan: semakan metrik ciri AI. Kadar penerimaan naik atau turun. Kadar pengubahsuaian mengikut jenis cadangan. Sebarang korelasi hasil yang bergerak. Prompt diselaraskan berdasarkan isyarat. Versi baharu dilancarkan.

Pasukan kejuruteraan GitHub Copilot menerbitkan catatan berkala tentang cara mereka menggunakan data penerimaan dan metrik jarak suntingan untuk menilai perubahan model. Log perubahan Linear menunjukkan penambahbaikan penskoran keutamaan AI dalam kebanyakan keluaran bulanan, didorong oleh cara jurutera sebenarnya bertindak balas terhadap cadangan. Ini bukan kebetulan. Ini ialah gelung.

Untuk pasukan Anda, gelung telemetri minimum yang berdaya maju ialah:

1. Peristiwa suggestion_shown, suggestion_accepted, suggestion_modified dalam Segment atau Amplitude
2. Papan pemuka mingguan dengan kadar penerimaan dan kadar pengubahsuaian mengikut ciri
3. Mesyuarat semakan prompt setiap dua minggu di mana seseorang benar-benar membaca data
4. Komitmen terhadap perubahan prompt yang memperbaiki jenis cadangan yang paling lemah prestasinya

Itu sahaja. Itulah gelungnya. Ia bukan kejuruteraan ML. Ia disiplin produk.

Syarikat yang akan menguasai kualiti ciri AI pada 2027 dan 2028 bukanlah yang memilih model terbaik pada 2025. Mereka ialah yang membina gelung pada 2025 dan membiarkannya berjalan.

---

Ketahui Lebih Lanjut:

• Apakah Keupayaan Ingest AI: lapisan Ingest ACE yang menjadi asas gelung telemetri
• Cara Corak AI Menggabungkan Keupayaan: cara data telemetri berganda merentas pelbagai corak AI
• Ciri AI sebagai Produk: Di Mana Menambahnya: cara mengenal pasti ciri yang wajar dibina gelung telemetri di sekelilingnya
• Copilot AI Terbenam dalam UI Produk SaaS: ciri AI terbenam yang menjana isyarat telemetri terkaya
• Peringkat Kematangan AI SaaS: cara integrasi telemetri merentas fungsi berkembang merentasi peringkat kematangan
• Kelebihan Telemetri Produk dalam AI SaaS: cara telemetri SaaS mencipta parit struktural berbanding pesaing AI tulen