İçindekiler:
Tanımı - Outlier Detection ne anlama geliyor?
Aykırı değer tespiti, aykırı değerleri belirli bir veri kümesinden saptama ve sonradan hariç tutma işlemidir.
Bir aykırı değer, veri setinin verilen normundan veya ortalamasından büyük ölçüde sapan bir veri veya gözlem parçası olarak tanımlanabilir. Bir aykırı değer sadece tesadüfen olabilir, ancak ölçüm hatasını veya verilen veri kümesinin ağır kuyruklu bir dağıtım olduğunu da gösterebilir.
Burada, aykırı algılamada basit bir senaryo, bir ölçüm süreci sürekli olarak 1 ile 10 arasında okuma üretir, ancak bazı nadir durumlarda 20'den büyük ölçümler alırız.
Normun ötesindeki bu nadir ölçümlere, normal dağılım eğrisinin "dışında" oldukları için aykırı değerler denir.
Techopedia, Outlier Detection'ı açıklıyor
Bir aykırı değeri belirlemek için gerçekten standart ve katı bir matematiksel yöntem yoktur, çünkü kümeye veya veri popülasyonuna bağlı olarak gerçekten değişir, bu nedenle belirlenmesi ve tespiti sonuçta öznel hale gelir. Belirli bir veri alanında sürekli örnekleme yoluyla, algılamayı kolaylaştırmak için bir aykırı değer belirlenebilir.
Aykırı değerleri tespit etmek için modele dayalı yöntemler vardır ve verilerin hepsinin normal bir dağılımdan alındığını ve aykırı olarak ortalama veya standart sapmaya dayanmadığı düşünülen gözlemleri veya noktaları tanımlayacağını varsayarlar. Aykırı algılama için birkaç yöntem vardır:
- Grubb'un Aykırı Değerleri Testi - Bu, verilerin normal dağılımda olduğu varsayımına dayanır ve daha fazla aykırı bulunamayana kadar test yinelenerek bir kerede bir aykırı değeri kaldırır.
- Dixon Q Testi - Ayrıca veri kümesinin normalliğine dayanarak, bu yöntem kötü verileri test eder. Bunun bir veri setinde az miktarda ve asla birden fazla kullanılmaması gerektiği kaydedildi.
- Chauvenet Kriteri - Aykırı değerlerin sahte olup olmadığını veya hala sınırlar dahilinde olup olmadığını ve setin bir parçası olarak kabul edilip edilmediğini analiz etmek için kullanılır. Ortalama ve standart sapma alınır ve aykırı değer meydana gelme olasılığı hesaplanır. Sonuçlar dahil edilmesi gerekip gerekmediğini belirler.
- Pierce'in Kriteri - Bir dizi gözlem için bir hata limiti belirlenir, bunun ötesinde tüm gözlemler zaten bu kadar büyük bir hata içerdiklerinden atılacaktır.
