Transformer, 2017'de Google araştırmacılarının "Attention Is All You Need" makalesiyle tanıttığı yapay sinir ağı mimarisidir. Temel yeniliği "attention" (dikkat) mekanizması: model, bir kelimenin anlamını çözerken cümledeki diğer tüm kelimelerle ilişkisini aynı anda tartar.
Önceki mimariler metni sırayla işlerdi ve uzun metinlerde bağlamı kaybederdi; transformer paralel işleyerek hem çok daha hızlı eğitilir hem uzun bağlamı korur. GPT (Generative Pre-trained Transformer) dahil bugünün tüm büyük dil modelleri bu mimarinin türevleridir.