İçindekiler:
Tanım - MapReduce ne anlama geliyor?
MapReduce, Google tarafından bilgisayar kümelerinde büyük veri kümelerinin işlenmesi ve oluşturulması için tanıtılan bir programlama modelidir.
Google, çerçeveyi önce Google'ın Web sayfası dizine eklemeye hizmet etmek amacıyla formüle etti ve yeni çerçeve, önceki dizine ekleme algoritmalarının yerini aldı. Yeni başlayan geliştiriciler MapReduce çerçevesini faydalı bulurlar çünkü kütüphane rutinleri, alt küme iletişimi, görev izleme veya hata işleme süreçleri hakkında endişe duymadan paralel programlar oluşturmak için kullanılabilir.
MapReduce, büyük bir ticari makine kümesinde çalışır ve oldukça ölçeklenebilir. Java, C # ve C ++ gibi birden fazla programlama dili tarafından sağlanan çeşitli uygulama biçimlerine sahiptir.
Techopedia, MapReduce'u açıklıyor
MapReduce çerçevesinin iki bölümü vardır:
- Dağıtılmış kümenin farklı noktalarının çalışmalarını dağıtmasına izin veren "Harita" adlı bir işlev
- Kümelerin sonuçlarının nihai biçimini tek bir çıktıya azaltmak için tasarlanmış "Azalt" adlı bir işlev
MapReduce çerçevesinin temel avantajı, çalışma tamamlandığında kümedeki her düğümden periyodik raporların beklendiği hata toleransıdır.
Görev bir düğümden diğerine aktarılır. Ana düğüm bir düğümün beklenenden daha uzun bir süre sessiz olduğunu fark ederse, ana düğüm yeniden dondurulmuş / geciktirilmiş göreve yeniden atama işlemini gerçekleştirir.
MapReduce çerçevesi, işlevsel programlamada kullanılan "Harita" ve "Küçült" işlevlerinden esinlenmiştir. Hesaplamalı işleme, bir dosya sisteminde veya bir veritabanında depolanan verilerde gerçekleşir; bu, bir dizi girdi anahtarı değeri alır ve bir dizi çıktı anahtarı değeri üretir.
Her gün, Google'ın kümelerinde çok sayıda MapReduce programı ve MapReduce işi yürütülmektedir. Programlar otomatik olarak paralel hale getirilir ve geniş bir emtia makinesi kümesinde yürütülür. Çalışma zamanı sistemi, giriş verilerini bölümlere ayırma, programın bir dizi makine arasında yürütülmesini zamanlama, makine arızası işleme ve gerekli makinalar arası iletişimi yönetme ile ilgilenir. Paralel ve dağıtılmış sistemlerde deneyimi olmayan programcılar, büyük bir dağıtılmış sistemin kaynaklarını kolayca kullanabilirler.
MapReduce dağıtılmış grep, dağıtılmış sıralama, Web bağlantısı-grafik tersine çevirme, Web erişim günlüğü istatistikleri, belge kümeleme, makine öğrenimi ve istatistiksel makine çevirisinde kullanılır.
