S:
Yapay tekrarlayan sinir ağlarını eğitmek neden zordur?
A:Yapay tekrarlayan sinir ağlarını eğitmenin zorluğu, karmaşıklıklarıyla ilgilidir.
Tekrarlayan sinir ağlarının neden eğitilmesinin zor olduğunu açıklamanın en basit yollarından biri, ileri beslemeli sinir ağları olmamalarıdır.
İleri beslemeli sinir ağlarında, sinyaller yalnızca bir yöne hareket eder. Sinyal, giriş katmanından çeşitli gizli katmanlara ve ileriye doğru sistemin çıkış katmanına gider.
Aksine, tekrarlayan sinir ağları ve diğer farklı sinir ağları daha karmaşık sinyal hareketlerine sahiptir. "Geri besleme" ağları olarak sınıflandırılan tekrarlayan sinir ağları, hem ileri hem de geri hareket eden sinyallere sahip olabilir ve ağda sayıların veya değerlerin ağa geri beslendiği çeşitli "döngüler" içerebilir. Uzmanlar bunu, bellekleriyle ilişkili tekrarlayan sinir ağlarının yönü ile ilişkilendirir.
Ek olarak, tekrarlayan sinir ağlarını etkileyen başka bir karmaşıklık türü daha vardır. Bunun mükemmel bir örneği, doğal dil işleme alanındadır.
Sofistike doğal dil işlemede, sinir ağının şeyleri hatırlayabilmesi gerekir. Girdileri de bağlam içinde alması gerekir. Varsayalım ki, bir kelimeyi başka kelimelerden oluşan bir cümle içinde analiz etmek veya tahmin etmek isteyen bir program var. Örneğin, sistemin değerlendirmesi için beş kelimelik sabit bir uzunluk olabilir. Bu, sinir ağının bu kelimelerin her biri için bu kelimelerin bağlamını “hatırlama” ya da eğitme becerisine sahip olması gerektiği anlamına gelir. Bu ve diğer benzer nedenlerden dolayı, tekrarlayan sinir ağları genellikle bu küçük gizli döngülere ve sistemde geri bildirimlere sahiptir.
Uzmanlar, bu komplikasyonların ağları eğitmeyi zorlaştırdığından yakınıyor. Bunu açıklamanın en yaygın yollarından biri, patlayan ve yok olan gradyan sorununa atıfta bulunmaktır. Esasen, ağın ağırlıkları ya çok sayıda geçişle patlayan ya da yok olan değerlere yol açacaktır.
Sinir ağı öncüsü Geoff Hinton, bu fenomeni web üzerinde, geriye doğru lineer geçişlerin daha küçük ağırlıkların katlanarak küçülmesine ve daha büyük ağırlıkların patlamasına neden olacağını söyleyerek açıklıyor.
Bu sorun, sinyallerin büyüdüğü veya bozulduğu uzun diziler ve daha fazla zaman adımıyla daha da kötüleşiyor. Kilo vermeye yardımcı olabilir, ancak bu zorluklar tekrarlayan sinir ağı modelinde yerleşiktir. Her zaman kendi tasarımlarına ve yapılarına bağlı olan bir konu olacaktır. Esasen, daha karmaşık sinir ağları türlerinden bazıları, bunları kolayca yönetme yeteneğimize gerçekten karşı çıkıyor. Neredeyse sonsuz miktarda karmaşıklık yaratabiliriz, ancak sık sık öngörülebilirlik ve ölçeklenebilirlik zorluklarının arttığını görürüz.
