Context window (bağlam penceresi), bir dil modelinin tek bir konuşmada işleyebileceği toplam token miktarıdır — sizin yazdıklarınız, modelin cevapları ve eklediğiniz belgeler dahil. Pencere dolunca model en eski kısımları "unutmaya" başlar veya yeni girdi kabul etmez.
İlk ChatGPT ~4 bin token ile çıkmıştı; güncel modeller yüzbinlerce hatta milyonlarca token'a ulaştı — yüzlerce sayfalık dokümanı tek seferde okuyabilirler. Ancak pencere büyüdükçe maliyet artar ve modeller uzun bağlamın ortasındaki bilgiyi gözden kaçırabilir; bu yüzden RAG hâlâ önemini korur.