Apa Itu Token AI? Satu Token Berapa Perkataan, dan Mengapa Unit Bayaran AI Tiada Piawaian Industri

Kesimpulan dahulu: token tiada definisi yang seragam dalam industri. Token datang daripada sejenis “jadual pemecahan teks” yang ditetapkan semasa setiap model dilatih. Teks yang sama, apabila diberikan kepada model berbeza, akan dipecahkan kepada bilangan token yang berbeza, malah model generasi berbeza daripada syarikat yang sama juga boleh berbeza. Jadi soalan “satu token sama dengan berapa perkataan” hanya ada petua kasar, bukan ukuran tetap.

Yang benar-benar diseragamkan oleh industri ialah struktur harganya, iaitu harga bagi setiap sejuta token dengan input dan output dikira berasingan, bukan token itu sendiri. Perbezaan ini menjadi sangat penting apabila anda mahu membina hamparan anggaran kos.

Apa itu token: matlamatnya pemampatan, bukan makna

Token ialah unit pemprosesan terkecil apabila model memecahkan teks. Cara pemecahannya datang daripada sejenis algoritma yang dipanggil BPE (Byte Pair Encoding), dalam tiga langkah:

1. Ambil korpus teks yang sangat besar, kira statistiknya, dan gabungkan berulang kali gabungan aksara yang paling kerap muncul bersama.
2. Hasil gabungan ini menjadi sebuah kosa kata (vocabulary), yang saiznya biasanya antara lima puluh ribu hingga dua ratus ribu entri.
3. Selepas itu, setiap input dipadankan dan dipecahkan menggunakan kosa kata ini.

Perkara pentingnya, matlamat algoritma ini ialah pemampatan, bukan memahami makna. Rentetan yang biasa, seperti the dan and dalam bahasa Inggeris, 的 dan 因為 dalam bahasa Cina, atau function dalam kod, dikira sebagai satu token secara keseluruhan. Perkataan yang jarang ditemui pula dipecahkan: nama orang, istilah khusus dan perkataan yang salah eja sering dipecahkan kepada tiga hingga lima token.

Jadi token bukan “aksara” dan bukan juga “perkataan”; ia ialah “komponen terkecil yang dikenali oleh model itu”. Inilah asas untuk memahami semua isu kos selepas ini.

Mengapa piawaian seragam mustahil wujud

Pada mulanya saya juga rasa pelik: sudah tahun 2026, bagaimana unit harga yang begitu asas masih tiada piawaian?

Jawapannya, kosa kata ialah sebahagian daripada pemberat (weights) model, dan tidak boleh diubah selepas latihan. Ia pada dasarnya satu komponen model, bukan satu spesifikasi luaran, jadi dari segi teknikal pemiawaian langsung tiada titik tumpuan. Anda tidak boleh meminta dua syarikat menggunakan kosa kata yang sama, kerana itu sama dengan meminta mereka menggunakan model yang sama.

Daripada sini timbul satu situasi yang lebih mudah memerangkap: syarikat yang sama juga menukar Tokenizer apabila bertukar generasi model. Claude menukarnya pada generasi Opus 4.7, dan bilangan token bagi teks yang sama berbeza daripada generasi sebelumnya. Jika model kos anda dibina tahun lepas, jadual itu sudah tidak tepat selepas pertukaran generasi, dan ia tidak akan memaparkan ralat; ia hanya akan membuat anggaran anda tersasar secara senyap.

Petua kasar: boleh untuk anggaran, tidak boleh untuk sebut harga

Jadual ini hanya ada satu kegunaan: membantu anda menilai “sama ada perkara ini berbaloi dibuat”. Untuk mendapatkan gambaran kasar dan memutuskan sama ada mahu melabur, ini sudah cukup; tetapi sebaik sahaja melibatkan sebut harga, bajet atau janji kepada pelanggan, jadual ini tidak boleh digunakan lagi, kerana ralatnya bagi bahasa Cina dan kod boleh mencapai dua kali ganda.

Mengapa bahasa Cina rugi, dan sebanyak mana tidak menentu

Dalam pengekodan UTF-8, satu aksara Cina mengambil tiga bait. Jika kosa kata model itu mengandungi perkataan yang anda gunakan, dua atau tiga aksara mungkin bergabung menjadi satu token; jika tidak, pemecahannya merosot hingga hampir mengikut bait, dan satu aksara boleh memakan dua hingga tiga token.

Jadi kecekapan token bagi bahasa Cina bergantung sepenuhnya pada seberapa tebal korpus bahasa Cina model itu. Inilah satu garis kos yang jarang diterangkan dengan jelas: teks bahasa Cina yang sama boleh berbeza kosnya lebih dua kali ganda antara model daripada pembekal berbeza, dan anda langsung tidak dapat melihatnya daripada jadual harga seunit.

Sebab itulah saya kurang percaya cara “membandingkan harga seunit”. Harga seunit yang rendah tidak bermaksud murah: model yang kecekapan token bahasa Cinanya 30% lebih teruk, walaupun harga seunitnya 20% lebih murah, sebenarnya tetap lebih mahal.

Struktur harga: inilah bahagian yang sama di seluruh industri

Sebagai contoh, API rasmi Anthropic pada pertengahan 2026: Claude Opus 5 kira-kira 5 dolar AS untuk input dan 25 dolar AS untuk output; Sonnet 5 ialah 2 dan 10 dolar AS; Haiku 4.5 ialah 1 dan 5 dolar AS (bagi setiap sejuta token). Harga akan berubah. Saya menyenaraikan angka ini bukan untuk anda gunakan dalam sebut harga, tetapi supaya anda nampak strukturnya: output sentiasa empat hingga lima kali ganda input.

Struktur ini secara langsung mengubah keputusan reka bentuk anda. Satu fungsi yang menghasilkan laporan panjang, dan satu fungsi yang hanya membuat klasifikasi dengan output tiga perkataan, walaupun jumlah inputnya sama, kosnya boleh berbeza satu tertib magnitud. Untuk menurunkan kos, lajur output yang perlu dilihat dahulu.

Perkara yang paling mudah dipandang rendah: kos tidak linear

Inilah perkara yang saya rasa paling wajar diterangkan secara berasingan.

Model itu sendiri tiada ingatan. Dalam setiap pusingan perbualan, seluruh sejarah sebelumnya perlu dihantar semula supaya model tahu apa yang baru dibincangkan. Jadi apabila anda berkata “okey” pada pusingan kedua puluh, bayaran sebenarnya mengira semula keseluruhan teks sembilan belas pusingan sebelumnya sebagai input.

Dalam bahasa matematik, kos perbualan panjang meningkat hampir secara kuasa dua, bukan linear. Dalam amalan, ini membawa kepada tiga perkara:

• Kos perbualan panjang tertumpu pada bahagian akhir, bukan diagihkan sama rata. Pada pusingan ketiga anda mungkin rasa sangat murah, tetapi kos satu pusingan pada pusingan ketiga puluh mungkin sepuluh kali gandanya.
• System prompt ialah kos tetap yang dikenakan berulang kali pada setiap pusingan, bukan dibayar sekali di awal sahaja. Tetapan peranan yang ditulis dengan sangat terperinci akan dibayar setiap kali anda menghantar satu ayat.
• Mekanisme cache wujud untuk masalah ini. Tetapkan awalan yang tidak berubah, dan bahagian yang berulang dibaca semula dengan kira-kira satu per sepuluh harga; inilah cara paling berkesan buat masa ini untuk perbualan panjang.

Untuk angka yang tepat, hanya ada satu cara

Ukur dengan Tokenizer model itu sendiri.

Anthropic menyediakan endpoint count_tokens, dan semasa memanggilnya anda mesti menyertakan kod model yang benar-benar akan digunakan, kerana model berbeza memberi angka berbeza. Di pihak OpenAI, padanannya ialah pakej tiktoken.

Di sini ada satu punca ralat yang biasa: menggunakan tiktoken untuk menganggar penggunaan Claude akan memberi anggaran kira-kira 15% hingga 20% lebih rendah, dan jurangnya lebih besar bagi bahasa Cina dan kod. Jadual pemecahan kedua-dua syarikat berbeza, jadi memang tidak patut digunakan sebagai pengganti satu sama lain. Saya pernah melihat lebih daripada satu hamparan anggaran kos yang dikira begini, dan hasilnya bil sebenar 20% lebih tinggi daripada anggaran tanpa dapat dikesan puncanya.

Empat situasi, kaedah pengiraan yang sesuai

Beza keempat-empat petak ini bukan pada ketepatan, tetapi pada keputusan apa yang akan anda buat dengan angka itu. Semasa memutuskan “sama ada mahu buat”, silap anggar 20% tidak mengapa; semasa memutuskan “berapa mahu caj pelanggan”, silap anggar 20% itu keluar daripada keuntungan anda.

Akhir sekali, kembali kepada soalan di awal: apa itu token? Ia ialah komponen terkecil yang dikenali oleh model itu, dan setiap model mengenali benda yang berbeza. Terima hakikat ini, barulah model kos anda dibina di atas asas yang betul.

Soalan lazim

Satu token sebenarnya sama dengan berapa perkataan?

Tiada jawapan tetap. Dalam bahasa Inggeris, 1 token kira-kira 4 aksara, atau kira-kira 0.75 perkataan; dalam bahasa Cina, 1 aksara Cina kira-kira 0.6 hingga 1.5 token. Julatnya begitu luas kerana dalam UTF-8 satu aksara Cina mengambil tiga bait, dan sama ada perkataan itu terdapat dalam kosa kata model tersebut boleh membuat hasilnya berbeza lebih dua kali ganda. Angka ini hanya boleh digunakan untuk menganggar sama ada mahu membuat sesuatu, bukan untuk sebut harga.

Mengapa token tiada piawaian seragam dalam industri?

Kerana kosa kata ialah sebahagian daripada pemberat model dan tidak boleh diubah selepas latihan. Ia pada dasarnya satu komponen model, bukan satu spesifikasi luaran, jadi pemiawaian tiada titik tumpuan teknikal: meminta dua syarikat menggunakan kosa kata yang sama sama dengan meminta mereka menggunakan model yang sama. Syarikat yang sama juga menukar Tokenizer apabila bertukar generasi, jadi model kos yang dibina tahun lepas mungkin sudah tidak tepat tahun ini, tanpa memaparkan sebarang ralat.

Bolehkah tiktoken digunakan untuk menganggar penggunaan Claude?

Tidak disyorkan. tiktoken ialah Tokenizer OpenAI, dan jika digunakan untuk Claude, anggarannya kira-kira 15% hingga 20% lebih rendah, dengan jurang yang lebih besar bagi bahasa Cina dan kod. Untuk angka yang tepat hanya ada satu cara: ukur dengan Tokenizer model itu sendiri. Bagi Anthropic, gunakan endpoint count_tokens, dan semasa memanggilnya mesti sertakan kod model yang benar-benar akan digunakan.

Mengapa kos perbualan panjang semakin mahal?

Kerana model itu sendiri tiada ingatan, dan setiap pusingan perlu menghantar semula seluruh sejarah sebelumnya. Perkataan “okey” yang anda ucapkan pada pusingan kedua puluh sebenarnya dibayar dengan mengira semula keseluruhan teks sembilan belas pusingan sebelumnya sebagai input, jadi kos meningkat hampir secara kuasa dua dan bukan linear. Kesimpulan susulannya, system prompt ialah kos tetap yang dikenakan berulang kali pada setiap pusingan, bukan dibayar sekali di awal sahaja; prompt caching wujud untuk menurunkan bahagian ini.

Adakah model yang lebih murah harga seunitnya pasti lebih jimat?

Tidak semestinya. Kecekapan token bagi bahasa Cina bergantung pada seberapa tebal korpus bahasa Cina model itu, dan teks bahasa Cina yang sama boleh berbeza lebih dua kali ganda bilangan tokennya antara model daripada pembekal berbeza, sesuatu yang langsung tidak kelihatan dalam jadual harga seunit. Model yang kecekapan token bahasa Cinanya 30% lebih teruk, walaupun harga seunitnya 20% lebih murah, sebenarnya tetap lebih mahal. Untuk membandingkan harga, ukur sampel yang sama dengan Tokenizer kedua-dua pembekal.

Kata kunci artikel: token AI, apa itu token, satu token berapa perkataan, Tokenizer, BPE, kos AI, harga LLM, prompt caching, count_tokens