Edge AI, yapay zeka modelinin bulut sunucusuna veri göndermek yerine doğrudan cihazın üzerinde — telefon, araç, kamera, fabrika sensörü — çalışmasıdır. Veri cihazdan çıkmaz, cevap ağ gecikmesi olmadan gelir.
Üç büyük avantajı var: gizlilik (veri yerinde kalır), hız (milisaniyelik tepki) ve çevrimdışı çalışma. Telefonlardaki canlı çeviri, araçlardaki sürüş asistanı ve akıllı kameralardaki nesne tanıma edge AI örnekleridir. NPU'ların yaygınlaşması ve modellerin küçülmesiyle (quantization) bu alan hızla büyüyor.