Token, metnin tokenizer adı verilen bir yöntemle ayrıldığı birimdir. Model metni bu birimlerin sayısal karşılıkları üzerinden işler. Aynı kelime, kullanılan tokenizer ve dile göre tek token veya birden fazla token olabilir.
Bağlam sınırları ve birçok API kullanım ücreti token sayısıyla hesaplanır. Türkçe kelimeler için her modelde geçerli sabit bir dönüşüm oranı yoktur. Bir metnin uzunluğunu değerlendirirken kullanılacak modelin tokenizer sonucuna bakmak gerekir.
Yayıncı: TECHMOLA. Kaynak kontrolü: .
Düzeltme öner