S:
Mühendisler, makine öğrenmesinde olası aşırı uyumu tespit etmek için eğitim setlerini ve test setlerini nasıl değerlendirebilir?
A:Bunun nasıl yapıldığını anlamak için, tipik bir makine öğrenimi projesinde farklı veri kümelerinin rollerini temel olarak kavramak gerekir. Eğitim seti, teknolojiye bir referans çerçevesi verecek şekilde ayarlanmıştır - programın öngörücü ve olasılıklı kararlar vermek için kullandığı bir veri taban çizgisi. Test seti, makineyi veriler üzerinde test ettiğiniz yerdir.
Aşırı sığdırma, modelin verilere veya amaca tam olarak uymadığı makine öğreniminde bir sendromdur.
| Ücretsiz İndirme: Makine Öğrenmesi ve Neden Önemlidir |
Makine öğreniminin kapsayıcı komutlarından biri, eğitim verilerinin ve test verilerinin ayrı veri setleri olması gerektiğidir. Bir makine öğrenme programını test etmek için eğitim için kullandığınız aynı seti kullanmayla ilgili bazı özel sorunlar nedeniyle, en azından birçok uygulamada bu konuda oldukça geniş bir fikir birliği vardır.
Bir makine öğrenme programı, esasen bir dizi girdi olarak adlandırılabilecek bir eğitim seti kullandığında, tahmin edici sonuçlar hakkında karar vermek için bu eğitim setinden yararlanır. Bunu düşünmenin çok temel bir yolu, eğitim setinin entelektüel hesaplama süreci için "gıda" olmasıdır.
Şimdi aynı set test için kullanıldığında, makine genellikle mükemmel sonuçlar verebilir. Çünkü bu verileri daha önce görmüştü. Ancak birçok durumda makine öğrenmesinin tüm amacı, daha önce görülmemiş veriler hakkında sonuçlar elde etmektir. Çeşitli veri grupları üzerinde çalışmak için genel amaçlı makine öğrenme programları yapılır. Başka bir deyişle, makine öğrenimi prensibi keşiftir ve genellikle test amaçlı bir başlangıç eğitimi seti kullanarak bunu elde edemezsiniz.
Eğitim setlerini ve test setlerini olası aşırı sığdırma için değerlendirirken, mühendisler sonuçları değerlendirebilir ve bir programın bu iki setin karşılaştırmalı sonuçları üzerinde neden farklı şekilde yapabileceğini veya bazı durumlarda makinenin eğitim verilerinin kendisinde ne kadar başarılı olabileceğini anlayabilir. .
Makine öğrenimindeki bu sorunlardan bazılarını 2014 yılında açık bir şekilde anlatırken, Machine Learning Mastery'deki Jason Brownlee, aşırı takılmayı şu şekilde açıklıyor:
Brownlee, "Görülmeyen bir test veri kümesindeki doğruluğundan ziyade eğitim veri kümesindeki doğruluğu için seçilen bir modelin, görünmeyen bir test veri kümesinde doğruluğu düşük olması muhtemeldir." "Bunun nedeni, modelin genelleştirilmiş olmamasıdır. Eğitim veri kümesindeki yapıya (italik eklenmiştir) özgüdür. Buna aşırı uydurma denir ve düşündüğünüzden daha sinsidir."
Mesleki eğitim terimleriyle, kendini eğitim veri setine göre uzmanlaşırken programın çok katılaştığını söyleyebilirsiniz. Bu, test seti için eğitim setini kullanarak bir makine öğrenme programının neden en iyi şekilde sunulmadığına bakmak için başka bir mecazi yöntemdir. Bu iki farklı seti değerlendirmek için de iyi bir yol var, çünkü sonuçlar mühendislere programın nasıl çalıştığı hakkında çok şey gösterecek. Her iki model için doğruluk arasında daha küçük bir boşluk istiyorsunuz. Sistemin belirli bir veri kümesine aşırı beslenmediğinden veya "hassas bir şekilde kaynaştırılmadığından", ancak bunun daha genel olduğundan ve komutla büyüyüp gelişebildiğinden emin olmak istersiniz.
