Token, dil modellerinin metni böldüğü küçük parçalardır — bir kelime, kelimenin bir kısmı veya noktalama işareti olabilir. Türkçede ortalama bir kelime 2-3 token eder; İngilizcede bu oran 1-1,5 civarındadır. Model metni harf harf değil, token token okur ve üretir.
Token iki yerde karşınıza çıkar: fiyat ve limit. AI API'leri milyon token başına ücretlendirilir; modellerin bağlam penceresi (context window) de token cinsinden ölçülür. Uzun bir dokümanı modele verdiğinizde limiti aşıyorsanız sorun kelime sayısı değil token sayısıdır.