WordPress Robots.txt Dosyası Nasıl Olmalıdır?

WordPress Robots.txt Dosyası Nasıl Olmalıdır?

Robots.txt dosyanız, bir web sitesinin SEO’su üzerinde çalıştığınız zaman güçlü bir araçtır ancak dikkatli kullanılmalıdır. Arama motorlarının farklı dosya ve klasörlere erişimini reddetmenize izin verir, ancak genellikle sitenizi optimize etmenin en iyi yolu bu değildir. Burada, web yöneticilerinin robots.txt dosyalarını nasıl kullanmaları gerektiğini düşündüğümüzü açıklayacağız ve çoğu web sitesi için uygun bir en iyi uygulama yaklaşımı önereceğiz.

Bu sayfada daha fazla WordPress web sitesinin büyük çoğunluğu için çalışan bir robots.txt örneği bulacaksınız. Robots.txt dosyanızın nasıl çalıştığı hakkında daha fazla bilgi edinmek istiyorsanız, robots.txt için nihai kılavuzumuzu okuyabilirsiniz.

Arama motorları, web’de gezinme ve dizin içeriğini sürekli olarak geliştirir. Bu, birkaç yıl önce en iyi uygulama olarak kullanılan şeyin artık işe yaramadığı veya sitenize zarar verebileceği anlamına gelir.

Bugün, en iyi uygulama, robots.txt dosyanıza mümkün olduğunca az güvenmek demektir. Aslında, karmaşık teknik zorluklarla karşılaştığınızda örneğin, yönlü gezinme özelliğine sahip büyük bir e-ticaret sitesi veya başka bir seçeneğiniz olmadığında, yalnızca robots.txt dosyanızdaki URL’leri engellemek gerçekten gereklidir.

URL’leri robots.txt üzerinden engellemek, kaba kuvvet yaklaşımıdır ve çözdüğünden daha fazla soruna neden olabilir.

Çoğu WordPress sitesi için aşağıdaki örnek en iyi yöntemdir.

# This space intentionally left blank
# If you want to learn about why our robots.txt looks like this, read this post: https://example.com/example-post
User-agent: *

Yukarıda ki kodlar neye yarar?

• User-agent: *Talimat herhangi Aşağıdaki talimatlar tüm tarayıcılar için geçerli olduğunu belirtmektedir.
• Başka talimat vermediğimiz için tüm tarayıcılar bu siteyi kısıtlama olmadan serbestçe tarayabilir diyoruz.
• Ayrıca, dosyaya bakan insanlar için bu sayfaya bağlantı veren, dosyanın neden boş olduklarını anlamaları için bazı bilgiler de sunuyoruz.

Genellikle site haritanıza bağlamanız gerekmez

Robots.txt standardı, dosyaya XML site haritanıza / linklerinize bağlantı eklemeyi destekler. Bu, arama motorlarının sitenizin yerini ve içeriğini keşfetmesine yardımcı olur.

Tavsiye yazı: Kaçınılması Gereken 10 SEO Hatası