Hadoop tam olarak nedir? alaycı teori

Gerçek olamayacak kadar iyi görünen her şey genellikle doğrudur. Herkesin konuşmaya devam ettiği çok ballyhooed açık kaynak projesi Apache Hadoop için durum böyle olabilir. Peki, bu tam olarak nedir? İyi soru!

Uzmanlar Şüpheli

Üçüncü Doğa'dan analist Mark Madsen, InsideAnalysis.com'daki özlü bir parçada bir süre duvara çivilenmişti: "Hadoop Nedir. Hadoop Nedir?" Gerçek dünya çözümlerini nasıl tasarlayacağını bilen ve daha sonra bunları konuşlandıran biri olarak tavsiyesi göz ardı edilmemelidir.

Ancak burada daha derin bir akım var ve bu büyüleyici floranın köklerini ortaya çıkarma, daha fazla makro düzeyde neler olduğuna dair bir perspektif kazanıp kazanamayacağımızı görmek için neredeyse yakın. Sonuçta, satıcılar bunun büyük bir anlaşma olduğunu söylüyorlar ve çok fazla katılımcı var.

Taahhüt Edenleri Çalıştırın! (?)

Şu anda üç şirket Hadoop'un yeni başlayan pazarının çoğunluğuna sahip: Cloudera, Hortonworks ve MapR. Hortonworks'ten Jim Walker, Boulder BI Beyin Vakfı (#BBBT) aracılığıyla son derece tartışmalı bir brifingde şu ilginç yorumu yaptı:

"Taahhüt edenleri işe almazsanız teknolojiyi ilerletemezsiniz!"

Tekrar gel?

Bu, Star Wars filminde Senatör Palpatine'nin söyleyebileceği bir şey gibi görünmüyor mu?

Senat Palpatine: "Taahhütçileri kullan!"

Yakındaki Minion: "Ama, ama efendim! Çocukları düşünün!"

Dışarıdaki işçiler sadece işleri halletmeye çalışırken, komisyoncular belirli bir açık kaynaklı projeye kendini adamış kişilerdir. Apache Vakfı'nın projelerinin ilerlemesi için katı protokolleri vardır, bu genellikle iyi bir şeydir.

Bununla birlikte, Walker'ın yorumu muayeneyi gerektiriyor. Sivri uçlu bir soru (oyun günlerini bir araya getirme riski altındadır) şöyle olurdu: Bu bir söz mü yoksa tehdit mi? Hortonworks'ün sadece toplarını alıp eve gidebileceğini mi söylüyor?

İşbirliği veya Rekabet?

Buradaki ilginç paradoksal açı, Hadoop takımındaki komitelerin çoğunun (yaklaşık 30 kadar) Hortonworks ve Cloudera'dan - rakipler olduğu bildiriliyor. Bu çok ilginç bir rekabet örneğidir.

Peki, anlaşma nedir? İşte eğitimli bir tahmin: Hadoop, şöhretini büyük ölçüde Oracle'a karşı bahislerini korumaya çalışan bir grup Silikon Vadisi girişim kapitalisti ve mühendisinin tasarladığı akıllı bir plana borçludur.

Genel fikir, zaman içinde, veritabanı ürünleri de dahil olmak üzere her türlü veri yönetimi aracını ideal olarak yaratacak bir paçavra geliştirici filosu tarafından geliştirilebilecek ve desteklenebilecek bir kod temeli ile piyasayı tohumlamaktır. VC'ler bir gün yatırım yapabilir ve nakit çıkışı yapabilir. Ancak oyunda bazı ciddi zorluklar var.

Tüm monolitik işletmeler gibi, Oracle da genellikle daha küçük bir oyuncunun artılarında bulunur. Ve kim sadece zihin uydurma gelirlerinden bir dilim istemez ki? Yalnızca son çeyrekte Oracle ~ 9 milyar dolar ayırdı. Ama Büyük Kırmızı'ya meydan okumak ve onları yenmek çok farklı iki gerçek.

Ücretsiz Web Yayını: Hadoop Nedir ve Nereye Gidiyor? Hadoop'un Linux veya SOA'dan ne kadar farklı olduğu ve geleceğinin neden büyük ölçüde yazılmamış olduğu hakkında bir tartışma için Eric Kavanagh, Robin Bloor ve Techopedia'ya katılın.

Paketleme Sorunları

Hadoop ile ilgili olan şey, kendi başına, hiçbir şekilde paketlenmiş bir çözüm olmamasıdır. Daha ziyade, yüksek kaliteli programcıların çok özel şeyler yapmak için büyük paralel işleme algoritmalarından yararlanmasını sağlayan karmaşık bir modül koleksiyonu. Ancak süslü bir kullanıcı arayüzü yoktur ve kılavuzlar acımasızdır.

Bu kritik engele meydan okuyun: En azından ne yapabileceğini genel olarak bilen iş adamlarına da ihtiyacınız var. Bu kişiler, nasıl kullanılabileceğine dair fikirler üretebilmeli, daha sonra uygulamaları üretmesi, test etmesi, uygulaması ve desteklemesi gereken geliştiricilerle iletişim kurabilmelidir.

Bu dansı düzenlemek Cloudera ve Hortonworks'ün paralarının çoğunu nasıl kazandıklarıdır. Sorun şu ki, bu yöntemle oluşturulan çözümlerin çoğu benzersizdir ve tipik olarak analitik çözümlerin aksine işletim sistemlerine odaklanır. Tercüme? Bunun gibi şeyler gerçekten paketlenmiş yazılım ürünlerine borç vermez.

Ambalaj Karlılığı!

Bu da bizi Oracle'a geri getiriyor. Larry Ellison ve oğlanlar samanlarını veritabanı teknolojisi, donanım, hizmetler ve (bekle …) paketlenmiş yazılımlar satıyorlar. Cloudera bunu açıkça anladı, dolayısıyla Impala'ya odaklandılar. Ama Hortonworks?

Modellerinin Linux işletim sisteminin üstünde milyar dolarlık bir iş kuran RedHat modelini daha yakından taklit ettiği görülüyor. Kurumsal yazılım endüstrisindeki büyük bir satıcı, IBM'in Microsoft'u geçişte yönlendirdiği işletim sistemi olan Linux için yazmıyor. Ama Hadoop Linux değil, uzun bir atışla değil.

Şu anda Phasic Systems ve PSIKORS Enstitüsü'nün veri bilimcisi olan ABD Donanması için eski bir nanoteknolog olan Dr. Geoffrey Malafsky, Hadoop değer önerisini şöyle damıtıyor:

"Hadoop arama için harika, stokastik sonuçlar için çok büyük trend analizi ve eski eşim gibi şeylerin yaptığı çok ucuz akıllı paralel işleme: katı hal ve kimyasal reaksiyonların kuantum mekanik dalga fonksiyonu hesaplaması. ve biraz paralel işleme taşındı, ancak programlama yaklaşımında zor bir değişiklik oldu.Bu, genç, zeki, enerjik yüksek lisans öğrencileri bunun gerçekleşmesi için öğrenciler olacak. uygulamalar."

Bunun veri ambarı, iş zekası, veri entegrasyonu ve hatta büyük veri gibi bir şey olmadığını fark edeceksiniz. Süper bilgisayar gibi geliyor. Bazı ilginç nedenlerden ötürü, yüksek performanslı bilgi işlem ve iş zekası dünyaları hiçbir zaman gerçekten anlamlı bir şekilde çarpışmadı veya bir araya gelmedi.

Hortonworks ve Cloudera için Uzun Yol

Ve işte Hortonworks ve muhtemelen Cloudera için gerçekten kötü bir haber. IBM ve SAP ve Oracle ve Teradata gibi büyük satıcılar bunu hafifçe söylemek ve Dire Straits'ten alıntı yapmak için: "Onlar aptal değil!" Üç ve daha fazla yıl önce, hepsi ciddi Hadoop stratejileri uygulamaya koydu.

Bu planların merkezinde, işletme kullanıcılarının beklediği türler yer almaktadır: grafik kullanıcı arayüzleri, sürükle ve bırak işlevselliği, modelleme ve keşif araçları, iş akışı, yönetişim, güvenlik; Kısacası, kurumsal yazılımı kullanılabilir yapan tüm bitler ve parçalar. Ve elbette, bu büyük satıcıların büyük kurulum tabanları var.

Elbette, Cloudera ve Hortonworks iyi iş çıkarmışlardı, ancak bu büyük oyuncuların her yıl elde ettiklerinin sadece küçük bir kısmı. Yükleyicilerin müşterilerini ne kadar ücretlendirdiklerine, genel giderlerinin ne kadar olduğuna ve resmin o kadar pembe olmadığını hesaplayın. Verilmiş, bu erken aşama yazılım endişeleri ile ders için eşit, ama yine de …

Hadoop'un Geleceği?

Öyleyse, IBM Cognos'u satın aldığında, Oracle Hyperion ve SAP BusinessObjects'i yakaladığında, geri dönüşlerde olduğu gibi klasik satın alma dalgasını görebilir miyiz? Belki de, ama bu bloktaki yeni çocukların Hadoop'u yoktur; sadece ödünç alıyorlar. Ve YARN ve Tez'in umut verici olduğu gibi, serbest bırakma döngüleri ağır vurucuların ürettiklerinin gerisinde kalıyor gibi görünüyor.

Geçen gün, bir endüstri uzmanı Apache'deki politikanın ciddi bir darboğaz olabileceğini söyledi. Bu, özellikle ilgili dolarları düşündüğünüzde çok şaşırtıcı değil - yenilikçilerin zenginlere saldırması için büyük bir motivasyon var. Ve kimse Chrome'un son zamanlarda işlevsellik ve işlerlik açısından Firefox'u nasıl aştığını fark etti mi? Kapalı kaynak var mı?

Kesin olan bir şey var: Bu oyun bazı ilginç şekillerde oynayacak. Evet, memeliler (okuma: küçük satıcılar) genellikle dinozorları geçebilir; ancak tüm dünyada hala timsahlar ve timsahlar var; ve farkında olmadan biriyle karşılaşırsanız, bu dişlerin ne kadar keskin olabileceğini keşfedebilirsiniz. Birkaç timsah birlikte bir ya da iki fil alabilir.