Token AI Adalah Apa? Satu Token Berapa Kata, dan Kenapa Satuan Tagihan AI Tidak Punya Standar Industri

Kesimpulannya dulu: token tidak punya definisi yang seragam di seluruh industri. Token berasal dari “tabel pemecah kata” yang dikunci saat setiap model dilatih. Teks yang sama diberikan ke model yang berbeda akan terpecah menjadi jumlah token yang berbeda, bahkan antargenerasi model dari perusahaan yang sama pun bisa berbeda. Jadi pertanyaan “satu token itu berapa kata?” hanya punya aturan praktis, bukan ukuran yang baku.

Yang benar-benar sudah diseragamkan oleh industri adalah struktur harganya, yaitu harga per satu juta token dengan input dan output ditagih terpisah, bukan token itu sendiri. Perbedaan ini jadi sangat menentukan begitu Anda mulai menyusun tabel perhitungan biaya.

Token Adalah Apa: Tujuannya Kompresi, Bukan Makna

Token adalah satuan terkecil yang dipakai model untuk memecah teks sebelum diproses. Cara memecahnya berasal dari keluarga algoritma bernama BPE (Byte Pair Encoding), dengan tiga langkah:

1. Hitung statistik dari kumpulan teks yang sangat besar, lalu gabungkan berulang kali kombinasi karakter yang paling sering muncul bersama.
2. Hasil penggabungan itu membentuk sebuah kosakata (vocabulary), biasanya berisi 50.000 sampai 200.000 entri.
3. Semua input berikutnya dicocokkan dengan kosakata ini lalu dipecah.

Kuncinya, tujuan algoritma ini adalah kompresi, bukan memahami makna. String yang sering muncul, seperti “the” dan “and” dalam bahasa Inggris, kata Mandarin yang umum seperti 的 (“milik”) dan 因為 (“karena”), atau “function” dalam kode, masing-masing dihitung sebagai satu token. Kata yang jarang muncul justru dipecah: nama orang, istilah khusus, dan salah ketik sering terpecah menjadi tiga sampai lima token.

Jadi token bukan huruf, juga bukan kata. Token adalah komponen terkecil yang dikenali oleh model tersebut. Inilah dasar untuk memahami semua soal biaya berikutnya.

Kenapa Standar Bersama Tidak Mungkin Ada

Awalnya saya juga merasa ini aneh: sudah tahun 2026, kenapa satuan tagihan yang begitu mendasar tidak punya standar?

Jawabannya, kosakata adalah bagian dari bobot (weights) model dan tidak bisa diubah setelah pelatihan selesai. Pada dasarnya ia adalah salah satu komponen model, bukan spesifikasi eksternal, sehingga standardisasi tidak punya pijakan teknis sama sekali. Anda tidak mungkin meminta dua perusahaan memakai kosakata yang sama, karena itu sama saja dengan meminta mereka memakai model yang sama.

Dari situ muncul situasi yang lebih mudah menjebak: saat perusahaan yang sama berganti generasi model, tokenizer-nya juga bisa ikut berganti. Claude mengganti tokenizer pada generasi Opus 4.7, sehingga teks yang sama menghasilkan jumlah token yang berbeda dari generasi sebelumnya. Kalau model biaya Anda dibuat tahun lalu, tabel itu bisa sudah meleset setelah pergantian generasi, dan tidak akan memunculkan pesan error. Perkiraan Anda hanya bergeser diam-diam.

Aturan Praktis: Boleh untuk Perkiraan, Jangan untuk Penawaran Harga

Tabel ini hanya punya satu kegunaan: membantu Anda menilai apakah sesuatu layak dikerjakan. Untuk mendapat gambaran kasar dan memutuskan mau berinvestasi atau tidak, tabel ini sudah cukup. Tetapi begitu menyangkut penawaran harga, anggaran, atau janji kepada klien, jangan pakai tabel ini, karena selisihnya untuk teks Mandarin dan kode bisa mencapai dua kali lipat.

Kenapa Teks Mandarin Dirugikan, dan Seberapa Besar Kerugiannya Tidak Pasti

Dalam pengodean UTF-8, satu karakter Mandarin memakan tiga byte. Kalau kosakata model memuat kata yang Anda pakai, dua atau tiga karakter bisa digabung menjadi satu token. Kalau tidak, pemecahannya kembali mendekati per byte, dan satu karakter bisa memakan dua sampai tiga token.

Jadi efisiensi token untuk teks Mandarin sepenuhnya bergantung pada seberapa banyak data Mandarin yang dipakai melatih model itu. Ini komponen biaya yang jarang dijelaskan dengan gamblang: paragraf Mandarin yang sama bisa berbeda biaya lebih dari dua kali lipat di model vendor yang berbeda, dan Anda sama sekali tidak bisa melihatnya dari daftar harga.

Itu juga sebabnya saya kurang percaya pada cara membandingkan harga satuan. Harga satuan rendah tidak sama dengan murah: model yang efisiensi token Mandarinnya 30% lebih buruk tetap lebih mahal, meskipun harga satuannya 20% lebih murah.

Struktur Harga: Bagian yang Sama di Seluruh Industri

Sebagai contoh, API resmi Anthropic pada pertengahan 2026: Claude Opus 5 sekitar US$5 untuk input dan US$25 untuk output, Sonnet 5 US$2 dan US$10, sedangkan Haiku 4.5 US$1 dan US$5 (per satu juta token). Harga akan berubah. Saya mencantumkan angka ini bukan untuk Anda pakai menawarkan harga, tetapi supaya strukturnya terlihat: output selalu empat sampai lima kali harga input.

Struktur ini langsung mengubah keputusan desain. Fitur yang menghasilkan laporan panjang dan fitur yang hanya mengklasifikasi lalu mengeluarkan beberapa kata bisa berbeda biaya satu orde besaran, walaupun jumlah inputnya sama. Kalau ingin menekan biaya, lihat kolom output lebih dulu.

Hal yang Paling Sering Diremehkan: Biayanya Tidak Linear

Menurut saya, poin inilah yang paling layak dibahas tersendiri.

Model itu sendiri tidak punya ingatan. Di setiap giliran percakapan, seluruh riwayat sebelumnya harus dikirim ulang supaya model tahu apa yang sedang dibicarakan. Jadi ketika Anda mengetik “oke” di giliran kedua puluh, yang sebenarnya ditagih adalah seluruh teks sembilan belas giliran sebelumnya sebagai input sekali lagi.

Secara matematis, biaya percakapan panjang tumbuh mendekati kuadratik, bukan linear. Dalam praktik, ada tiga konsekuensinya:

• Biaya percakapan panjang menumpuk di bagian akhir, tidak tersebar merata. Biaya satu giliran yang terasa murah di giliran ketiga bisa menjadi sepuluh kali lipat di giliran ketiga puluh.
• System prompt adalah biaya tetap yang ditagih ulang di setiap giliran, bukan sesuatu yang dibayar sekali di awal lalu selesai. Pengaturan peran yang ditulis sangat detail akan Anda bayar setiap kali Anda mengirim satu kalimat.
• Mekanisme cache memang ada untuk masalah ini. Mengunci awalan yang tidak berubah lalu membaca ulang bagian yang berulang dengan harga sekitar sepersepuluh adalah cara paling efektif untuk percakapan panjang saat ini.

Untuk Angka yang Tepat, Hanya Ada Satu Cara

Ukur dengan tokenizer milik model itu sendiri.

Anthropic menyediakan endpoint count_tokens, dan saat memanggilnya Anda harus menyertakan ID model yang benar-benar akan dipakai, karena model yang berbeda memberi angka yang berbeda. Di sisi OpenAI, padanannya adalah paket tiktoken.

Ada sumber kesalahan yang umum di sini: memakai tiktoken untuk memperkirakan pemakaian Claude akan menghasilkan angka sekitar 15% sampai 20% terlalu rendah, dan selisihnya lebih besar untuk teks Mandarin dan kode. Tabel pemecah kata kedua perusahaan berbeda, jadi memang tidak boleh saling menggantikan. Saya sudah melihat lebih dari satu tabel perhitungan biaya yang dibuat dengan cara ini, dan hasilnya tagihan sebenarnya sekitar 20% lebih tinggi dari perkiraan tanpa ketahuan penyebabnya.

Empat Situasi, Empat Cara Menghitung

Perbedaan keempat situasi ini bukan soal ketepatan, melainkan soal keputusan apa yang akan Anda ambil dengan angka itu. Saat memutuskan “dikerjakan atau tidak”, meleset 20% tidak masalah. Saat memutuskan “berapa yang ditagihkan ke klien”, meleset 20% berarti 20% itu keluar dari laba Anda.

Kembali ke pertanyaan awal: token itu apa? Token adalah komponen terkecil yang dikenali oleh model tertentu, dan setiap model mengenali hal yang berbeda. Terima kenyataan ini, maka model biaya Anda akan berdiri di atas fondasi yang benar.

Pertanyaan Umum

Satu token itu berapa kata?

Tidak ada jawaban tetap. Dalam bahasa Inggris, satu token kira-kira 4 karakter, atau sekitar 0,75 kata. Dalam bahasa Mandarin, satu karakter kira-kira 0,6 sampai 1,5 token. Rentangnya lebar karena satu karakter Mandarin memakan tiga byte dalam UTF-8, dan ada tidaknya kata itu di kosakata model tersebut bisa membuat hasilnya berbeda lebih dari dua kali lipat. Angka-angka ini hanya bisa dipakai untuk memperkirakan apakah sesuatu layak dikerjakan, bukan untuk penawaran harga.

Kenapa token tidak punya standar industri?

Karena kosakata adalah bagian dari bobot model dan tidak bisa diubah setelah pelatihan. Pada dasarnya ia adalah komponen model, bukan spesifikasi eksternal, sehingga standardisasi tidak punya pijakan teknis; meminta dua perusahaan memakai kosakata yang sama sama saja dengan meminta mereka memakai model yang sama. Perusahaan yang sama juga bisa mengganti tokenizer saat berganti generasi, sehingga model biaya yang dibuat tahun lalu mungkin sudah tidak akurat tahun ini, tanpa pesan error apa pun.

Bisakah memakai tiktoken untuk memperkirakan pemakaian Claude?

Tidak disarankan. tiktoken adalah tokenizer milik OpenAI; kalau dipakai untuk Claude, hasilnya sekitar 15% sampai 20% terlalu rendah, dan selisihnya lebih besar untuk teks Mandarin dan kode. Untuk angka yang tepat hanya ada satu cara: ukur dengan tokenizer milik model itu sendiri. Untuk Anthropic, itu adalah endpoint count_tokens, dan Anda harus menyertakan ID model yang benar-benar akan dipakai.

Kenapa percakapan panjang makin lama makin mahal?

Karena model itu sendiri tidak punya ingatan, dan setiap giliran mengirim ulang seluruh riwayat sebelumnya. Saat Anda mengetik “oke” di giliran kedua puluh, yang ditagih adalah seluruh teks sembilan belas giliran sebelumnya sebagai input sekali lagi, sehingga biayanya tumbuh mendekati kuadratik, bukan linear. Akibatnya, system prompt adalah biaya tetap yang ditagih setiap giliran, bukan sesuatu yang dibayar sekali di awal; prompt caching ada justru untuk menekan bagian ini.

Apakah model dengan harga satuan lebih rendah pasti lebih hemat?

Belum tentu. Efisiensi token untuk teks Mandarin bergantung pada seberapa banyak data Mandarin yang dipakai melatih model, dan paragraf Mandarin yang sama bisa menghasilkan jumlah token lebih dari dua kali lipat di model vendor yang berbeda, hal yang sama sekali tidak terlihat di daftar harga. Model yang efisiensi token Mandarinnya 30% lebih buruk tetap lebih mahal meskipun harga satuannya 20% lebih murah. Untuk membandingkan harga, ukur sampel yang sama dengan tokenizer masing-masing vendor.

Kata kunci artikel: token AI adalah, token adalah, satu token berapa kata, tokenizer, BPE, biaya AI, harga LLM, prompt caching, count_tokens