S:
Veri bilimi süreçlerini otomatikleştirmenin ve optimize etmenin bazı temel yolları nelerdir?
A:Makine öğrenimi ve yapay zeka bağlamında veri bilimi süreçleri dört farklı aşamaya ayrılabilir:
- veri toplama ve keşfetme,
- model yapımı,
- model dağıtımı ve
- çevrimiçi değerlendirme ve ayrıntılandırma.
Deneyimlerime göre, en belirleyici aşamalar, herhangi bir makine öğrenimi tabanlı veri bilimi sürecindeki veri toplama ve model uygulama aşamalarıdır ve işte bunları optimize etmenin iki yolu vardır:
1. Yüksek düzeyde erişilebilir bir veri deposu oluşturun.
Çoğu kuruluşta, veriler tek bir merkezi konumda depolanmaz. Sadece müşterilerle ilgili bilgileri alalım. İşletmeniz bir web uygulamasıysa, müşteri iletişim bilgileriniz, müşteri destek e-postalarınız, müşteri geri bildirimleriniz ve müşteri tarama geçmişiniz vardır. Tüm bu veriler, farklı amaçlara hizmet ettikleri için doğal olarak dağılmıştır. Farklı veritabanlarında bulunabilir ve bazıları tamamen yapılandırılmış, bazıları yapılandırılmamış olabilir ve hatta düz metin dosyaları olarak saklanabilir.
Ne yazık ki, bu veri kümelerinin dağınıklığı, tüm NLP, makine öğrenimi ve AI problemlerinin temeli veri olduğu için veri bilimi çalışmalarını son derece sınırlandırmaktadır. Bu nedenle, tüm bu verileri tek bir yerde tutmak - veri deposu - model geliştirme ve konuşlandırmayı hızlandırmada çok önemlidir. Bunun tüm veri bilimi süreçleri için önemli bir parça olduğu göz önüne alındığında, kuruluşlar veri depolarını oluşturmalarına yardımcı olmak için nitelikli veri mühendisleri tutmalıdır. Bu, basit veri tek bir konuma dökülürken kolayca başlayabilir ve veri alt kümelerini farklı amaçlar için farklı biçimlere aktarmak için yardımcı araçlar ile tam olarak belgelenmiş ve sorgulanabilir, iyi düşünülmüş bir veri havuzuna yavaşça büyüyebilir.
2. Sorunsuz entegrasyon için modellerinizi bir hizmet olarak gösterin.
Verilere erişim sağlamanın yanı sıra, veri bilimcileri tarafından geliştirilen modelleri ürüne entegre edebilmek de önemlidir. Python'da geliştirilen modelleri Ruby üzerinde çalışan bir web uygulamasıyla entegre etmek son derece zor olabilir. Ayrıca, modellerde ürününüzün sağlayamayacağı çok fazla veri bağımlılığı olabilir.
Bununla başa çıkmanın bir yolu, modelinizin etrafında güçlü bir altyapı oluşturmak ve modeli “web hizmeti” olarak kullanmak için ürününüzün yeterli işlevselliğini ortaya koymaktır. Örneğin, uygulamanızın ürün incelemelerinde duyarlılık sınıflandırmasına ihtiyacı varsa., tek yapması gereken, ilgili metni sağlayarak web hizmetini çağırmaktır ve hizmet, ürünün doğrudan kullanabileceği uygun duygu sınıflandırmasını geri verir. Bu şekilde entegrasyon basitçe bir API çağrısı biçimindedir. Modeli ve onu kullanan ürünü birbirinden ayırmak, bu modellerin az bir güçlükle kullanılmasını kolaylaştıracaktır.
Şimdi, modelinizin etrafında altyapıyı kurmak başka bir hikaye ve mühendislik ekiplerinizden ağır bir ilk yatırım gerektiriyor. Altyapı orada olduğunda, sadece altyapıya sığacak şekilde modeller oluşturma meselesidir.
