Yapay zekâda token nedir? 1 token kaç kelime eder ve AI faturalandırma biriminin neden sektör standardı yok

Önce sonucu söyleyeyim: Token’ın sektör genelinde ortak bir tanımı yoktur. Token, her modelin eğitilirken sabitlenen kendi “bölme tablosundan” gelir. Aynı metni farklı modellere verirseniz farklı sayıda token’a bölünür; aynı şirketin farklı nesil modelleri arasında bile sayı değişebilir. Bu yüzden “Bir token kaç kelime eder?” sorusunun yalnızca pratik kuralları vardır, sabit bir ölçüsü yoktur.

Sektörde gerçekten standartlaşmış olan şey token’ın kendisi değil, fiyatlandırmanın yapısıdır: milyon token başına fiyat, girdi ve çıktının ayrı ücretlendirilmesi. Bu fark, bir maliyet tablosu hazırlamaya oturduğunuz anda hayati hâle gelir.

Token nedir: Amaç anlam değil, sıkıştırma

Token, modelin metni işlemek için böldüğü en küçük birimdir. Bölme yöntemi BPE (Byte Pair Encoding) adlı bir algoritma ailesinden gelir ve üç adımda çalışır:

1. Çok büyük bir metin derlemi üzerinde istatistik çıkarılır ve en sık birlikte görülen karakter kombinasyonları tekrar tekrar birleştirilir.
2. Birleştirmelerden bir sözlük (vocabulary) oluşur; boyutu genellikle 50.000 ile 200.000 kayıt arasındadır.
3. Sonraki bütün girdiler bu sözlükle karşılaştırılarak bölünür.

İşin püf noktası şudur: Bu algoritmanın amacı anlamı kavramak değil, sıkıştırmaktır. Sık görülen dizeler, örneğin İngilizcedeki “the” ve “and”, Çincedeki 的 (“-in”) ve 因為 (“çünkü”) gibi sık kelimeler ya da koddaki “function”, tek başına bir token sayılır. Nadir kelimeler ise parçalanır: Kişi adları, özel terimler ve yazım hataları çoğu zaman üç ila beş token’a bölünür.

Yani token ne bir karakterdir ne de bir kelime; o modelin tanıdığı en küçük parçadır. Bundan sonraki bütün maliyet sorularının ön koşulu budur.

Neden ortak bir standart mümkün değil?

Başta ben de bunu tuhaf bulmuştum: 2026 yılındayız, bu kadar temel bir faturalandırma biriminin nasıl standardı olmaz?

Cevap şu: Sözlük, modelin ağırlıklarının bir parçasıdır ve eğitimden sonra değiştirilemez. Özünde modelin bir parçasıdır, dışarıdan bir şartname değildir; bu yüzden standartlaştırmanın teknik olarak tutunacağı bir yer yoktur. İki şirketten aynı sözlüğü kullanmasını isteyemezsiniz; bu, onlardan aynı modeli kullanmalarını istemek demektir.

Buradan, takılması daha da kolay bir durum doğar: Aynı şirket yeni bir model nesline geçerken tokenizer’ı da değiştirebilir. Claude, Opus 4.7 neslinde tokenizer değiştirdi; aynı metin bir önceki nesildekinden farklı sayıda token’a bölünür. Maliyet modeliniz geçen yıl kurulduysa, nesil değişiminden sonra o tablo zaten sapmış olabilir ve hata vermez; tahminleriniz sessizce kayar.

Pratik kurallar: Tahmin için uygun, fiyat teklifi için değil

Bu tablonun tek bir işlevi var: Bir işin yapmaya değer olup olmadığına karar vermenize yardım etmek. Kabaca bir fikir edinip yatırım yapıp yapmayacağınıza karar vermek için yeterlidir. Ama fiyat teklifi, bütçe ya da müşteriye verilen bir söz söz konusu olduğunda bu tabloyu kullanmayın; çünkü Çince metin ve kodda hata payı iki katına çıkabilir.

Çince metin neden dezavantajlı ve ne kadar dezavantajlı olduğu neden belli değil?

UTF-8 kodlamasında bir Çince karakter üç bayt yer kaplar. Kullandığınız kelime modelin sözlüğünde varsa iki üç karakter tek bir token’da birleşebilir. Yoksa bölme neredeyse bayt bayt yapılmaya geri döner ve tek bir karakter iki üç token tüketebilir.

Bu yüzden Çince metnin token verimliliği tamamen o modelin ne kadar Çince veriyle eğitildiğine bağlıdır. Bu, nadiren açıkça anlatılan bir maliyet kalemidir: Aynı Çince paragraf farklı sağlayıcıların modellerinde iki kattan fazla farklı maliyet çıkarabilir ve bunu fiyat listesinden hiç göremezsiniz.

Birim fiyat karşılaştırmasına pek güvenmememin nedeni de budur. Düşük birim fiyat ucuz demek değildir: Çince token verimliliği %30 daha kötü olan bir model, birim fiyatı %20 daha düşük olsa bile aslında daha pahalıdır.

Fiyatlandırma yapısı: Sektörün asıl ortak noktası

Örnek olarak Anthropic’in 2026 ortasındaki resmî API’sini alalım: Claude Opus 5 girdi için yaklaşık 5 ABD doları, çıktı için 25 ABD dolarıdır; Sonnet 5 2 ve 10 dolar, Haiku 4.5 ise 1 ve 5 dolardır (milyon token başına). Fiyatlar değişecektir. Bu sayıları fiyat teklifinde kullanasınız diye değil, yapıyı görebilesiniz diye veriyorum: Çıktı her zaman girdinin dört ila beş katıdır.

Bu yapı tasarım kararlarını doğrudan değiştirir. Uzun raporlar üreten bir özellik ile yalnızca sınıflandırma yapıp birkaç kelimelik çıktı veren bir özellik, girdi miktarı aynı olsa bile maliyette bir büyüklük mertebesi kadar fark edebilir. Maliyeti düşürmek istiyorsanız önce çıktı sütununa bakın.

En çok hafife alınan nokta: Maliyet doğrusal değildir

Bence ayrı bir başlığı en çok hak eden nokta budur.

Modelin kendisinin hafızası yoktur. Sohbetin her turunda, ne konuştuğunuzu bilmesi için önceki bütün geçmiş yeniden gönderilir. Yani yirminci turda yazdığınız “Tamam”, aslında önceki on dokuz turun tam metninin yeniden girdi olarak ücretlendirilmesi demektir.

Matematiksel olarak söylersek, uzun bir sohbetin maliyeti doğrusal değil, yaklaşık karesel büyür. Pratikte bundan üç sonuç çıkar:

• Uzun bir sohbetin maliyeti eşit dağılmaz, sonlara doğru yoğunlaşır. Üçüncü turda ucuz gelen tek bir turun maliyeti, otuzuncu turda onun on katı olabilir.
• Sistem istemi (system prompt), başta bir kez ödenip biten bir şey değil, her turda yeniden ücretlendirilen sabit bir maliyettir. Ayrıntılı yazılmış bir rol tanımını her cümlenizde yeniden ödersiniz.
• Önbellek mekanizması tam da bunun için vardır. Değişmeyen ön eki sabitleyip tekrarlanan kısmı yaklaşık onda bir fiyatla geri okumak, şu an uzun sohbetler için en etkili yöntemdir.

Kesin sayıya ulaşmanın tek bir yolu var

O modelin kendi tokenizer’ıyla ölçmek.

Anthropic, count_tokens adlı bir uç nokta (endpoint) sunar; çağırırken gerçekten kullanacağınız model kimliğini (model ID) vermeniz gerekir, çünkü farklı modeller farklı sayılar verir. OpenAI tarafındaki karşılığı tiktoken paketidir.

Burada yaygın bir hata kaynağı var: Claude kullanımını tiktoken ile tahmin etmek, kullanımı yaklaşık %15 ile %20 arasında düşük gösterir; Çince metin ve kodda fark daha da büyüktür. İki şirketin bölme tabloları farklıdır, birbirinin yerine kullanılmamaları gerekir. Bu şekilde hazırlanmış birden fazla maliyet tablosu gördüm; sonuçta gerçek fatura tahminden yaklaşık %20 yüksek çıktı ve nedeni bulunamadı.

Dört durum, dört hesaplama yolu

Bu dört durum arasındaki fark kesinlik değil, o sayıyla hangi kararı vereceğinizdir. “Yapalım mı?” kararında %20 yanılmanın önemi yoktur. “Müşteriden ne kadar alalım?” kararında %20 yanılırsanız, o %20 kârınızdan çıkar.

Baştaki soruya dönelim: Token nedir? O modelin tanıdığı en küçük parçadır ve her model farklı şeyleri tanır. Bunu kabul ettiğinizde maliyet modeliniz doğru zeminin üzerine oturur.

Sık sorulan sorular

Bir token kaç kelime eder?

Sabit bir cevabı yoktur. İngilizcede bir token kabaca 4 karaktere, yaklaşık 0,75 kelimeye karşılık gelir. Çincede bir karakter kabaca 0,6 ile 1,5 token arasındadır. Aralığın bu kadar geniş olmasının nedeni, UTF-8’de bir Çince karakterin üç bayt yer kaplaması ve kelimenin o modelin sözlüğünde olup olmamasının sonucu iki kattan fazla değiştirebilmesidir. Bu sayılar yalnızca bir işi yapıp yapmamaya karar vermek için kullanılabilir, fiyat teklifi için kullanılamaz.

Token’ın neden sektör standardı yok?

Çünkü sözlük modelin ağırlıklarının bir parçasıdır ve eğitimden sonra değiştirilemez. Özünde modelin bir parçasıdır, dışarıdan bir şartname değildir; bu yüzden standartlaştırmanın teknik olarak tutunacağı bir yer yoktur. İki şirketten aynı sözlüğü kullanmasını istemek, aynı modeli kullanmasını istemek demektir. Aynı şirket de nesil değiştirirken tokenizer’ı değiştirebilir; geçen yıl kurulan bir maliyet modeli bu yıl hata vermeden yanlış sonuç veriyor olabilir.

Claude kullanımını tiktoken ile tahmin edebilir miyim?

Önerilmez. tiktoken, OpenAI’ın tokenizer’ıdır; Claude için kullanıldığında kullanımı yaklaşık %15 ile %20 arasında düşük gösterir ve Çince metin ile kodda fark daha büyüktür. Kesin sayıya ulaşmanın tek yolu, o modelin kendi tokenizer’ıyla ölçmektir. Anthropic için bu, count_tokens uç noktasıdır ve çağırırken gerçekten kullanacağınız model kimliğini vermeniz gerekir.

Uzun sohbetler neden giderek pahalılaşır?

Çünkü modelin kendisinin hafızası yoktur ve her turda önceki bütün geçmiş yeniden gönderilir. Yirminci turda yazdığınız “Tamam” için önceki on dokuz turun tam metni yeniden girdi olarak ücretlendirilir; bu yüzden maliyet doğrusal değil, yaklaşık karesel büyür. Buradan çıkan sonuç, sistem isteminin başta bir kez ödenen değil, her turda yeniden ücretlendirilen sabit bir maliyet olduğudur; prompt caching tam da bu kısmı düşürmek için vardır.

Birim fiyatı düşük olan model her zaman daha mı ucuzdur?

Her zaman değil. Çince metnin token verimliliği modelin ne kadar Çince veriyle eğitildiğine bağlıdır; aynı Çince paragraf farklı sağlayıcıların modellerinde iki kattan fazla farklı sayıda token’a bölünebilir ve bu fiyat listesinde hiç görünmez. Çince token verimliliği %30 daha kötü olan bir model, birim fiyatı %20 daha düşük olsa bile aslında daha pahalıdır. Fiyat karşılaştırmak için aynı örneği her sağlayıcının tokenizer’ıyla ölçün.

Bu yazının anahtar kelimeleri: token nedir, yapay zekâ token, 1 token kaç kelime, tokenizer, BPE, yapay zekâ maliyeti, LLM fiyatlandırması, prompt caching, count_tokens