Büyük verinin evrimi

2000'lerin başında, veriler konusunda yeniliğe büyük ihtiyaç olduğu açıktı. Firmaların verileriyle neler yapabileceğine ilişkin sınırlamalar yöneticileri hayal kırıklığına uğrattı ve verimliliği büyük ölçüde azalttı. Birçok şirket büyük miktarda bilgi depoladı, ancak bunları kendi yararlarına yönetemedi, analiz edemedi veya manipüle edemedi. Büyük veri sınırına yol açan bu artan baskıdır.

2003 yılında Google, firmanın kısa bir süre içinde binlerce sunucuda arama sorgularıyla ilgili bilgileri işlemesine ve analiz etmesine olanak tanıyan bir veri uygulaması olan MapReduce'u oluşturdu. Hem ölçeklenebilir hem de uyarlanabilir program, Google'ın yalnızca birkaç dakika içinde binlerce veri görevi gerçekleştirmesine izin verdi, bu da verimliliği artırdı ve verilerle neler yapılabileceği konusunda algılanan sınırları yeniden tanımladı. Neredeyse 10 yıl sonra, büyük veri bilgi teknolojisinin merkezi ilkesi haline geldi. Kapsamlı kapsamı ve yeteneği, işyerindeki veri yönetimini temelden değiştirmiştir. Ancak bu evrimi tetikleyen şey nedir ve büyük veriler geleceği tam olarak nasıl etkileyecek? Asla sormayacağını düşündük. (Büyük verilerle ilgili bazı arka plan okumaları için Büyük Veriler: Nasıl Yakalandığını, Çatıldığını ve İş Kararlarını Vermede Nasıl Kullanıldığını inceleyin.)

Büyük Veri Sorularına Cevap Aramak

MapReduce'un güzelliği, son derece karmaşık görevleri basitleştirmenin yoluydu. İletişim, makineler arasında yönetilebilir, sistem arızaları ele alınabilir ve girdi verileri otomatik olarak organize edilebilir, bu da artık yüksek teknik becerilere ihtiyaç duymayan bireyler tarafından denetlenebilir. Veri işlemeyi sadece mümkün kılmakla kalmayıp aynı zamanda ulaşılabilir kılmak suretiyle Google, veri yönetiminde kültürel bir değişime ilham verdi. Binlerce büyük firmanın verileri için MapReduce kullanması çok uzun sürmedi.

Ancak bir sorun vardı: MapReduce sadece bir programlama modeliydi. Veri işlemenin temellerini kolaylaştırırken, mevcut veri eksikliklerinin yanıtı kendisi değildi; doğru yönde sadece çok ihtiyaç duyulan bir adımdı. Şirketler hala benzersiz veri ihtiyaçlarını karşılayabilecek ve veri yönetiminin temel gerekliliklerinin ötesine geçebilecek bir sisteme ihtiyaç duyuyordu. Kısacası, teknolojinin gelişmesi gerekiyordu.

Hadoop'a girin

Doug Cutting dahil birçok programcı tarafından oluşturulan açık kaynaklı bir çerçeve yazılımı olan Hadoop'a girin. MapReduce temel ve geniş olduğunda, Hadoop ferahlatıcı bir özgüllük sağladı. Şirketler, veri gereksinimlerini karşılayan kendi özel uygulamalarını başka hiçbir yazılımın yapamayacağı şekilde tasarlayabilir ve genellikle diğer dosya sistemleriyle uyumludur. Yetenekli programcılara sahip bir firma, daha önce ulaşılamayan verilerle benzersiz görevler gerçekleştirecek bir dosya sistemi tasarlayabilir. Muhtemelen bunun en iyi yanı, geliştiricilerin uygulamaları ve programları birbirleriyle paylaşabileceği ve mükemmelleştirilebileceği idi.

Hadoop böylesine önemli bir kaynağı demokratikleştirerek bir trend haline geldi. Sonuçta, birçok büyük şirket, özellikle arama motoru firmaları, onlarca yıl boyunca ihtiyaç duyduklarını hissettiler! Yahoo gibi arama motoru devleri, Web arama sorgularında kullanılan verileri üreten büyük Hadoop uygulamalarının uygulamasını duyurmaktan çok önce değildi. Bir dalga gibi görünen şeyde, birçok önde gelen şirket Facebook, Amazon, Fox, Apple, eBay ve FourSquare gibi devasa veritabanları için bu teknolojiyi benimsediğini açıkladı. Hadoop veri işleme için yeni standardı belirledi.

Büyük Veri, Büyük Sorunlar

Veri teknolojisindeki gelişmeler şirketlerin verilere olan muamelesini yeniden şekillendirirken, birçok yönetici hala gerekli tüm görevler için bunları bulunmamış bulmaktadır. Temmuz 2012'de Oracle, şirketlerin yüzde 36'sının verileri yönetmek ve analiz etmek için BT'ye güvenirken, yüzde 29'unun sistemlerinin şirketlerini karşılamak için yeterli yeteneklere sahip olmadığını hissettiğini belirten 300'den fazla C düzeyi yöneticiden oluşan bir anket yayınladı. ihtiyacı vardır. Muhtemelen çalışmanın en çarpıcı bulgusu, katılımcıların yüzde 93'ünün, toplanan verileri kullanamayarak firmalarının gelirinin yüzde 14'üne kadar kaybettiğine inanmasıydı. Bu, daha iyi ürünler üretmeye ve daha fazla işçi işe almaya harcanabilecek gelirdir. Şirketlerin kârlı kalmaya çalıştığı bir dönemde, şirketlerin daha kârlı hale gelebilmesi için verileri geliştirmek bir zorunluluktur. Anket, büyük verilerin ticaret üzerindeki etkisinin çoktan geçtiğine inananlara rağmen, sahip olduğu büyüme ve ilerleme fırsatlarının henüz tam olarak gerçekleşmediğini gösteriyor.

Geleceğin Büyük Veriler İçin Neleri Var

İyi haber şu ki, Hadoop ve MapReduce diğer birçok veri yönetimi aracına da ilham verdi. Birçok yeni şirket, Hadoop üzerinde çalışan, ancak çok çeşitli analitik işlevler ve daha kolay sistem entegrasyonu sunan kapsamlı veri platformları oluşturuyor. Şirketler, veri kaygılarını gidermek için büyük miktarda kaynak yatırmış ve veri şirketlerinin finansal başarısı bunun kanıtıdır. 2010 yılında, veri firmaları perakende satışlarda tahmini 3, 2 milyar dolar kazanmışlardır. Birçok uzman, bu rakamın sadece 2015 yılına kadar 17 milyar dolara çıkacağını tahmin ediyor. Bu, en büyük teknoloji şirketlerinden bazılarında kaybolmamış bir gerçektir. Hem IBM hem de Oracle, son birkaç aydır veri firmaları edinmek için milyarlarca dolar harcadı. Diğer birçok firma, rekabetçi bir pazar payı için yarışmaya devam ettikleri için önümüzdeki yıllarda da benzer hamleler yapacaklar.

Büyük Veri Sınırı

Toplanan veri miktarı katlanarak artmaya devam ediyor, bu da bazıları endişeli, bazıları heyecanlı. Sonuç olarak, veriler analiziyle dünyamız hakkında yeni şeyler öğrendikçe, insanlar daha üretken ve uyarlanabilir olmaya devam edecekler. Dezavantajı, birçoğunun hepsini düzgün bir şekilde depolayamayacağımızdan, ihtiyaç duyan herkes tarafından kullanılabilmesi için daha az düzgün bir şekilde yönetmekten korktuğumuz kadar büyük miktarda veri olmasıdır.

Bununla birlikte, büyük verilerdeki ilerlemeler, verilerle ilgili acil konulara çözümler için benzeri görülmemiş fırsatlar sağlayabilir. Örneğin, uzmanlar, büyük verilerin verimlilik ve kaliteye önem vererek düzgün bir şekilde uygulanması halinde, yalnızca sağlık harcamalarında yılda yaklaşık 300 milyar dolar tasarruf etme potansiyeline sahip olacağını önerdiler; perakendeciler işletme marjlarını artırabilecek, kamu sektörü daha iyi hizmet verebilir ve büyük işletmeler milyarlarca dolar tasarruf edebilir. Ve böylece, veri sorunlarımızın çözülmesinin sadece şirket yönetim kurullarında değil, her yerde gerekli olduğu anlaşılıyor. Bu da büyük verinin geleceği hakkında iyi şeyler söylüyor - ve belki de bizimki.