İçindekiler:
Tanımı - Apache Pig ne anlama geliyor?
Apache Pig, büyük veri setlerini analiz etmek için kullanılan bir platformdur. Veri analiz programlarını ifade etmek için üst düzey bir dilin yanı sıra bu programları değerlendirecek altyapıdan oluşur. Domuzun en önemli özelliklerinden biri, yapısının önemli paralelleşmeye yanıt vermesidir.
Pig, Hadoop platformunda çalışır, Hadoop Dağıtılmış Dosya Sistemi'ne (HDFS) veri yazıp bu verileri okuyarak ve bir veya daha fazla MapReduce işi aracılığıyla işleme gerçekleştirir. Apache Pig açık kaynak olarak mevcuttur.
Apache Pig, Domuz Programlama Dili veya Hadoop Domuz olarak da bilinir.
Techopedia Apache Pig'i açıklıyor
Apache Domuz iki bölümden oluşur: Domuz Latin dili ve Domuz motoru. Pig Latin dili, kullanıcıların bir veya daha fazla girişten gelen veri akışının nasıl okunması ve işlenmesi gerektiğini ve depolanması gereken yeri göstermesini sağlayan bir komut dosyası dilidir.
Pig Latince'nin bazı temel özellikleri şunlardır:
- Programlaması kolay: Birbirine bağlı çeşitli veri dönüşümlerinden oluşan karmaşık görevler, veri akışı dizileri olarak açıkça kodlanır. Bu onları yazma, anlama ve bakımını kolaylaştırır.
- Optimizasyon olanakları: Görevlerin kodlanma şekli, sistemin otomatik yürütmeyi optimize etmesini sağlar. Bu, kullanıcının verimlilik yerine semantiğe dikkat etmesini sağlar.
- Genişletilebilirlik: Kullanıcıların özel amaçlı işlem yapmak için kendi işlevlerini oluşturmalarına izin verilir. Domuz motoru, Domuz Latince yazılmış veri akışının yürütülmesinden sorumludur. Standart bir ilişkisel veritabanı yönetim sistemi (RDBMS) tasarımına çok benzeyen Apache Pig, veri işleme yapan operatörlere ek olarak bir ayrıştırıcı, optimize edici ve tür denetleyicisinden oluşur. Domuz, işlemleri, bir veri kataloğunu veya veri depolamasını doğrudan işleme veya yürütme çerçevesini kullanma yeteneğini içermez.
