Robots.txt’de crawl-delay konusunu anlamak ve detaylarını öğrenmek isteyenler için hazırladığımız içerikte SEO uygulamalarınızda en faydaları adımları atmanızı sağalmayacak detayları bulacaksınız. İşte “Robots.txt’de crawl-delay nedir” konusunda merak edilenler ve diğer detaylar…
SEO’yu öğrenmek ve ideal şekilde uygulamak isteyenler SEO ile ilgili tüm detayları araştırıyor, en verimli ve en doğru adımları atmak için ayrıntılı bilgiler ediniyor. Bu noktada en çok merak dilen “Robots.txt’de crawl-delay nedir” konusu, SEO ile ilgilenenlerin en çok araştırdığı konulardan biri olarak öne çıkıyor. Peki, Robots.txt’de crawl-delay nedir?
Crawl-delay, web sitesinin derinliklerine botun ne kadar zaman boyunca inip inmemesi ve sitenin ne kadarını tarayıp taramamasını ifade eden kavramdır. Bunun ne anlama geldiğini örnekle açıklayabiliriz. habernew.com Crawl-delay = 1 ‘e 1 saniye kadar tarama yapabildiğini tara manasına gelir. Bir linke tıklayıp geldiğiniz süre eğer 2 saniye devam ediyorsa bu durumda taranma işlemi gerçekleşmeyecektir.
