Member-only story
Transformatörler: Tüm İhtiyacınız Olan Dikkat
2017'de yayımlanmış popüler “Attention is all you need” makalesinin Türkçe çevirisi ve özetidir.
Transformer mimarisi, uzun veri dizilerindeki kalıpları yakalamak ve devasa veri kümeleriyle başa çıkmak için mükemmeldir. Öyle ki, artık NLP’nin sınırlarını aşarak görüntü işleme gibi alanlara da uzanmaktadır.
Hugging Face’in Transformers kitaplığı, açık kaynak bir kütüphanedir ve hem TensorFlow’u hem de PyTorch’u destekler. Hugging Face Hub’dan önceden eğitilmiş bir modeli indirme, onu görevinize göre yapılandırma, ince ayar yapma, veri kümelerini ekleme ve performansını değerlendirme işlemleri kolayca gerçekleştirilebilir.
Transformatör’lerin bu çalışma alanını bir gecede sallamasına sebep olan şey dikkat, transfer öğrenme ve sinir ağlarını büyütme gibi özelliklerin sentezlenmesiydi.
Basit Açıklama
Makale, dizi transdüksiyon görevleri için Transformer adı verilen yeni bir sinir ağı mimarisi önermektedir. Transformer, tekrarlamalı (RNN) ve evrişimli mimariden (CNN) tamamen vazgeçerek, yalnızca dikkat mekanizmalarına dayanmaktadır. Transformatörler eğitmek için daha paralelleştirilebilir ve verimli oldukları için makine çevirisi görevlerinde en son teknolojiye sahip sonuçlar elde etmeyi sağlar.
