Inference, yani çıkarım; eğitimle öğrenilmiş modelin yeni veriye uygulanmasıdır. Bir dil modelinin soruya yanıt üretmesi veya görüntü modelinin bir nesneyi sınıflandırması çıkarım örneğidir. Kullanım sırasında modelin yeniden eğitilmesi gerekmez.
Üretim hızı; modelin boyutuna, bağlamın uzunluğuna, donanıma ve kullanılan yazılıma bağlıdır. Dil modellerinde ilk tokena kadar geçen süre ile devamındaki üretim hızı farklı ölçümlerdir. Bellek yönetimi ve nicemleme gibi yöntemler çıkarımın kaynak ihtiyacını etkiler.
Yayıncı: TECHMOLA. Kaynak kontrolü: .
Düzeltme öner