Apa itu On-Device AI?

Diperbarui Juli 2026

On-device AI adalah kecerdasan buatan yang berjalan langsung di perangkat keras lokal, baik itu smartphone, laptop, atau chip tertanam, bukan mengirim permintaan ke server jarak jauh. Komputasi model terjadi di perangkat itu sendiri, menggunakan chip onboard seperti NPU, sehingga sistem dapat merespons tanpa koneksi internet, dan data tidak perlu meninggalkan perangkat keras tempat data itu berasal.

Satu pilihan desain ini, yaitu menjaga komputasi tetap lokal alih-alih meneruskannya ke pusat data, mengubah ekonomi, profil privasi, dan mode kegagalan sebuah fitur AI. Ini juga alasan mengapa ponsel Anda kini bisa mentranskripsi memo suara, meringkas utas teks, atau menulis ulang email meskipun berada dalam mode pesawat.

Bagaimana On-Device AI Benar-Benar Berjalan Secara Lokal

Menjalankan model besar di ponsel dulu adalah hal yang mustahil. Sebuah large language model berskala frontier bisa memiliki ratusan miliar parameter dan membutuhkan GPU pusat data hanya untuk menjawab satu kueri. Perangkat keras konsumen hanya memiliki sebagian kecil dari memori dan daya tersebut. Tiga perkembangan berikut menutup kesenjangan ini.

Neural Processing Units (NPU). Chip ponsel dan laptop modern kini dilengkapi akselerator AI khusus di samping CPU dan GPU. NPU dirancang khusus untuk operasi matematika matriks yang terus-menerus dijalankan oleh neural networks, dan menjalankan operasi tersebut jauh lebih efisien, baik dari segi kecepatan maupun konsumsi baterai, dibandingkan prosesor serbaguna. Snapdragon 8 Elite Gen 5 dari Qualcomm, yang dibangun untuk ponsel generasi 2026, dilengkapi NPU Hexagon yang menurut Qualcomm berjalan 37 persen lebih cepat dari generasi sebelumnya, khusus dirancang agar model yang lebih besar dapat berjalan secara lokal tanpa menguras baterai.

Quantization. Bahkan dengan chip khusus, model dengan presisi penuh biasanya masih terlalu besar untuk muat dalam memori ponsel. Quantization memperkecil model dengan mengurangi presisi numerik bobotnya, sering kali dari 32-bit menjadi 8-bit atau 4-bit, memangkas jejak memori sebesar 4x hingga 8x dengan hanya sedikit kompromi akurasi. Ini adalah langkah yang mengubah model yang dibangun untuk rak server menjadi model yang muat di ponsel.

Small Language Models (SLM). Selain kompresi, para pembuat model juga melatih model agar kecil sejak awal. Small language models, biasanya dalam kisaran 1 hingga 10 miliar parameter, dirancang untuk cukup mumpuni pada serangkaian tugas tertentu (meringkas, menulis ulang, mengklasifikasikan, menjawab pertanyaan tentang konten di layar) sambil tetap cukup ringan untuk berjalan di NPU ponsel. Knowledge distillation, di mana model "murid" yang kecil belajar meniru model "guru" yang lebih besar, adalah salah satu teknik utama yang digunakan untuk membangunnya.

Digabungkan, ketiga elemen ini memungkinkan ponsel atau laptop menjalankan inference, langkah di mana model yang sudah dilatih benar-benar menghasilkan jawaban, sepenuhnya pada chip lokal, tanpa data yang pernah dikirim melalui jaringan.

Mengapa Bisnis dan Pengguna Menginginkannya: Privasi, Latensi, Offline, Biaya

Privasi. Ketika inference berjalan di perangkat, input tidak pernah perlu meninggalkannya. Memo suara, foto, draf email, atau catatan pasien dapat diproses tanpa mengirimkan konten tersebut ke server pihak ketiga. Untuk industri yang diatur secara ketat atau alur kerja apa pun yang menyentuh data sensitif, ini sering menjadi faktor penentu, bahkan melebihi kualitas model itu sendiri.

Latensi. Permintaan ke cloud harus melakukan perjalanan ke pusat data dan kembali, bahkan sebelum model mulai menghitung. Inference on-device melewati bolak-balik itu sepenuhnya, itulah sebabnya fitur lokal (autocomplete, transkripsi langsung, peringkasan di layar) terasa instan sementara fitur yang dialihkan ke cloud memiliki jeda yang terlihat.

Operasi offline. Model yang berjalan secara lokal tetap berfungsi tanpa sinyal, di pesawat, di ruang bawah tanah, di lantai pabrik, atau di daerah pedesaan dengan konektivitas yang tidak stabil. Apa pun yang bergantung pada panggilan API langsung akan berhenti berfungsi begitu koneksi terputus.

Biaya. Inference cloud ditagih per token atau per panggilan dan skalanya berbanding lurus dengan penggunaan; fitur yang semakin populer akan semakin mahal. Inference on-device berjalan pada perangkat keras yang sudah dimiliki pengguna atau bisnis, sehingga tidak ada biaya tambahan per kueri setelah model berada di perangkat.

Batasan Sesungguhnya: Ukuran Model dan Baterai

On-device AI bukan peningkatan gratis dibandingkan cloud AI, dan berpura-pura sebaliknya hanya akan menetapkan ekspektasi yang salah secara internal. Dua batasan berikut menentukan apa yang benar-benar memungkinkan saat ini.

Ukuran model membatasi kemampuan. Memori ponsel dan laptop diukur dalam gigabyte satu digit atau dua digit rendah, bukan ratusan gigabyte yang dapat diakses klaster GPU pusat data. Batas ini berarti model on-device secara alami lebih kecil dan tidak semampu model cloud frontier. Model ini kuat pada tugas yang sempit dan terdefinisi dengan baik, tetapi lebih lemah pada penalaran terbuka, dokumen panjang, atau apa pun yang membutuhkan pengetahuan yang sangat terkini.

Batasan baterai dan termal. Bahkan dengan NPU yang efisien, inference AI yang berkelanjutan tetap menyerap daya dan menghasilkan panas, keduanya adalah sumber daya yang terbatas pada perangkat bertenaga baterai. Ini adalah batasan nyata terhadap seberapa banyak pemrosesan on-device yang dapat dilakukan perangkat secara terus-menerus tanpa terlihat menguras baterai atau menurunkan performa, yang menjadi salah satu alasan produsen ponsel mengalihkan permintaan yang lebih berat ke cloud alih-alih memaksakan semuanya melalui chip lokal.

Perkiraan Deloitte sendiri untuk 2026 menangkap ketegangan ini secara langsung: meskipun akselerator AI onboard di ponsel dan PC terus berkembang, Deloitte memperkirakan hampir semua komputasi AI pada 2026 masih akan terjadi di pusat data besar atau server enterprise kelas atas, bukan di perangkat, karena NPU saat ini hanya cukup kuat untuk tugas inference ringan satu kali seperti meringkas email pendek, bukan penalaran kompleks yang berkelanjutan.

Itulah bentuk praktis on-device AI saat ini: nyata dan tumbuh cepat, tetapi sebagai pelengkap cloud AI, bukan pengganti sepenuhnya.

Fakta Penting

• Smartphone berkemampuan GenAI, yaitu ponsel yang menjalankan model AI secara on-device, diperkirakan mencapai 45 persen dari total pengiriman smartphone global pada 2026, naik dari 36 persen pada 2025, menurut Counterpoint Research.
• Total kumulatif pengiriman global smartphone berkemampuan GenAI melampaui 500 juta unit pada kuartal ketiga 2025, menurut Counterpoint Research.
• Pangsa smartphone yang dikirim dengan kemampuan generative AI dapat melampaui 30 persen pada akhir 2025, dan hampir setengah dari semua PC yang terjual pada 2025 akan memiliki kapasitas pemrosesan generative AI lokal, menurut Deloitte's 2025 TMT Predictions.
• AI PC diproyeksikan mewakili 31 persen dari pasar PC dunia pada akhir 2025, menurut Gartner.
• Meskipun akselerator AI on-device terus meningkat, Deloitte's 2026 TMT Predictions memperkirakan hampir semua komputasi AI pada 2026 masih akan berjalan di pusat data atau server enterprise kelas atas, bukan di PC dan ponsel, karena NPU saat ini dirancang untuk inference ringan satu kali, bukan beban kerja berat yang berkelanjutan.
• Biaya menjalankan inference pada level performa GPT-3.5 turun dari $20,00 menjadi $0,07 per juta token antara November 2022 dan Oktober 2024, penurunan lebih dari 280 kali lipat yang sebagian besar didorong oleh model kecil yang efisien, menurut laporan Stanford AI Index 2025.
• Snapdragon 8 Elite Gen 5 dari Qualcomm, yang dibangun untuk ponsel generasi 2026, dilengkapi NPU Hexagon yang menurut Qualcomm berjalan 37 persen lebih cepat dari pendahulunya, khusus dirancang untuk menjalankan model yang lebih besar secara lokal.

On-Device AI pada 2026: Contoh Nyata

On-device AI telah berkembang dari sekadar demo riset menjadi fitur standar di berbagai platform konsumen utama.

Apple Intelligence. Apple membangun sistem AI-nya di sekitar pemrosesan on-device secara default. Banyak model di balik Apple Intelligence berjalan sepenuhnya di iPhone, iPad, atau Mac; ketika sebuah permintaan membutuhkan model yang lebih besar daripada yang muat di perangkat, permintaan itu dialihkan ke Private Cloud Compute milik Apple, yang menurut Apple berjalan pada server Apple silicon khusus dengan model keamanan yang sama seperti perangkat itu sendiri, bukan cloud serbaguna.

Gemini Nano. Gemini Nano dari Google adalah versi kompak dari keluarga model Gemini-nya, dibangun khusus untuk berjalan secara on-device di ponsel Pixel melalui sistem AICore Android, menggerakkan fitur seperti peringkasan on-device dan smart reply tanpa panggilan jaringan.

Copilot+ PC. Kategori Copilot+ PC dari Microsoft, diluncurkan pada 2024 dan kini menjadi tingkatan laptop Windows arus utama, membutuhkan NPU yang mampu memproses setidaknya 40 triliun operasi per detik (TOPS) agar mesin dapat menjalankan fitur AI on-device, seperti live captioning dan pembuatan gambar, secara lokal alih-alih melalui cloud.

Llama on-device. Meta membangun model Llama 3.2 1B dan 3B secara khusus untuk penerapan edge dan on-device, cukup kecil untuk berjalan di ponsel dan laptop melalui mitra seperti Qualcomm dan MediaTek, ditujukan bagi developer yang menginginkan peringkasan, penulisan ulang, atau tool-calling lokal tanpa bolak-balik ke server.

On-Device AI vs. Cloud AI

Tidak ada kolom yang benar-benar menang mutlak. Sebagian besar sistem AI produksi, dan sebagian besar perangkat konsumen yang disebutkan di atas, menggunakan pendekatan hybrid: menangani permintaan rutin yang sudah terdefinisi dengan baik secara on-device, dan mengalihkan apa pun yang membutuhkan lebih banyak kemampuan, konteks, atau informasi terkini ke cloud.

Implikasi Bisnis

Bagi bisnis yang mengevaluasi di mana harus menjalankan fitur AI, keputusan antara on-device dan cloud sebenarnya bukan soal mana yang "lebih baik". Ini soal mencocokkan model penerapan dengan batasan yang paling penting bagi kasus penggunaan spesifik tersebut.

Jika alur kerja menyentuh data yang diatur secara ketat atau sensitif, seperti catatan kesehatan, rekaman keuangan, informasi SDM, pemrosesan on-device menghilangkan seluruh kategori risiko transmisi data sebelum kontrol privasi lain diterapkan. Jika alur kerja perlu bekerja di lapangan dengan konektivitas yang tidak stabil, seperti aplikasi inspeksi, pengemudi pengiriman, lokasi terpencil, on-device sering kali menjadi satu-satunya opsi yang benar-benar berfungsi. Dan jika sebuah fitur akan digunakan dalam volume yang sangat tinggi oleh basis pengguna yang besar, pemrosesan on-device menghindari tagihan cloud per kueri yang meningkat seiring kesuksesan.

Kompromi ini berjalan ke arah sebaliknya ketika sebuah tugas membutuhkan penalaran yang luas, jendela konteks yang panjang, atau pengetahuan yang berubah cukup sering sehingga model on-device yang statis tidak dapat mengikutinya. Context window yang cukup besar untuk menganalisis kontrak lengkap atau utas dukungan yang panjang umumnya tetap membutuhkan foundation model berskala cloud, bukan model terkompresi yang berjalan pada chip ponsel.

Kesimpulan praktis bagi seorang pemimpin yang merancang fitur AI: tentukan lebih dulu kebutuhan latency, privasi, dan konektivitas, baru kemudian putuskan di mana inference harus berjalan. On-device bukan pengganti yang lebih murah untuk cloud AI secara menyeluruh; ini adalah jawaban yang tepat untuk sekumpulan kasus penggunaan tertentu yang terus berkembang, dan jawaban yang salah untuk kasus lainnya.

Konsep AI Terkait

• Edge AI - Kategori yang lebih luas dari menjalankan AI pada perangkat keras lokal, dari ponsel hingga sensor industri
• Inference - Langkah di mana model yang sudah dilatih benar-benar menghasilkan output, baik di cloud maupun on-device
• Small Language Models - Model kompak yang dibangun khusus untuk berjalan pada perangkat keras konsumen
• Quantization - Teknik kompresi yang memperkecil model agar muat secara on-device
• Knowledge Distillation - Bagaimana model kecil yang siap on-device dilatih dari model yang lebih besar
• Model Compression - Kumpulan teknik yang lebih luas untuk memperkecil model, tidak hanya quantization
• Large Language Models - Model berskala frontier yang biasanya masih membutuhkan infrastruktur cloud
• Neural Networks - Arsitektur dasar yang dipercepat oleh NPU

Sumber Eksternal

• Deloitte 2026 TMT Predictions: More Compute for AI, Not Less - Mengapa sebagian besar inference AI masih berjalan di pusat data meskipun on-device terus berkembang
• Stanford HAI AI Index Report 2025 - Data tentang penurunan biaya inference yang didorong oleh model kecil yang efisien
• Counterpoint Research: GenAI Smartphone Forecast - Data pengiriman dan perkiraan untuk smartphone berkemampuan on-device AI