Transformer, bir dizideki öğelerin birbirleriyle ilişkisini attention, yani dikkat mekanizmasıyla hesaplayan sinir ağı mimarisidir. Metinde bir tokenın temsilini oluştururken diğer ilgili tokenlardan gelen bilgiyi kullanır.
İlk çalışma, makine çevirisinde yinelemeli katmanlar yerine dikkat mekanizmasına dayanan bir yapı sundu. Paralel eğitim olanağı bu yaklaşımın özelliklerinden biridir. Büyük dil modellerinin önemli bir bölümü Transformer veya onun türevlerini kullanır.
Yayıncı: TECHMOLA. Kaynak kontrolü: .
Düzeltme öner