İçindekiler:
Tanım - Örümcek ne anlama geliyor?
İnternet bağlamında, bir örümcek, genellikle web sayfalarını kullanıcı arama sorguları için arama sonuçları olarak sağlamak amacıyla dizine eklemek amacıyla World Wide Web'i sistematik olarak taramak ve taramak için tasarlanmış özel bir yazılımdır. Bu tür örümceklerin en ünlüsü, arama sorguları için alakalı sonuçların döndürülmesini sağlamaya yardımcı olan Google'ın ana tarayıcısı olan Googlebot'tur.
Örümcekler, Web tarayıcıları, arama botları veya basitçe botlar olarak da bilinir.
Techopedia Örümcek Açıklıyor
Örümcek aslında World Wide Web'den bilgi toplamak için kullanılan bir programdır. Genellikle arama motoru sonuçları için bilgi ayıklayan ve daha sonra kullanmak üzere dizine ekleyen web sitelerinin sayfalarında gezinir. Örümcek, web sitelerini ve sayfalarını sayfalara ve sayfalardan çeşitli bağlantılar aracılığıyla ziyaret eder, bu nedenle tek bir bağlantısı olmayan bir sayfanın dizine eklenmesi zor olur ve arama sonuçları sayfasında gerçekten düşük sıralanabilir. Bir sayfaya işaret eden çok sayıda bağlantı varsa, bu sayfanın popüler olduğu ve arama sonuçlarında daha yukarıda göründüğü anlamına gelir.
Web'de taramayla ilgili adımlar:
- Örümcek bir site bulur ve sayfalarını taramaya başlar.
- Örümcek sitenin sözcüklerini ve içeriğini dizine ekler.
- Örümcek, sitede bulunan bağlantıları ziyaret eder.
Örümcekler veya web tarayıcıları sadece programlardır ve bu nedenle programcılar tarafından belirlenen sistematik kurallara uyarlar. Web sitelerinin sahipleri, örümceğe sitenin hangi bölümlerinin dizine eklenip hangilerinin eklenmeyeceğini söyleyerek de başlayabilir. Bu, örümcek için hangi bölümlerin dizine ekleneceği ve izlenecek bağlantılar ve hangilerinin göz ardı edilmesi gerektiği konusunda talimatlar içeren bir "robots.txt" dosyası oluşturarak yapılır. En önemli örümcekler, Google, Bing ve Yahoo gibi büyük arama motorlarına ait olanlar ve veri madenciliği ve araştırma amaçlı olanlar, ancak kullanıcının şirketlere satması için e-posta bulmak ve toplamak için yazılmış bazı kötü niyetli örümcekler de var. veya Web güvenliğindeki güvenlik açıklarını bulmak için.
