robots.txt Nedir ve Nasıl Oluşturulur?

Dosya genellikle sitenin kök dizininde bulunur:

robots.txt özellikle gereksiz veya taranmasını istemediğiniz bölümlere bot erişimini yönetmek için kullanılabilir. Ancak robots.txt bir sayfayı Google arama sonuçlarından kaldırmak için kullanılan noindex yöntemi değildir.

Tüm botların sitenin tamamını taramasına izin veren basit bir örnek:

Buradaki User-agent: * kuralı tüm botları hedefler.

Boş bırakılan Disallow: ise bu grup için herhangi bir yolun engellenmediğini belirtir.

Sitemap adresi de robots.txt dosyasında belirtilebilir:

Basit bir dosya şu şekilde olabilir:

Örneğin botların /admin/ yolunu taramasını istemiyorsanız:

kuralı kullanılabilir.

Bu kural belirtilen yolun taranmaması gerektiğini bildirir.

Ancak önemli bir ayrıntı vardır: robots.txt güvenlik sistemi değildir.

Gizli veya özel bilgileri korumak için robots.txt kullanmayın. Engellenen yollar robots.txt dosyasını görüntüleyen kişiler tarafından görülebilir ve erişim yetkilendirmesi sağlamaz.

Özel alanları korumak için giriş, yetkilendirme ve uygun sunucu güvenliği kullanılmalıdır.

Evet. Kurallar belirli bot kullanıcı aracılarına göre düzenlenebilir.

Örneğin Googlebot için bir grup oluşturulabilir:

Bunun dışında tüm botlar için farklı kurallar tanımlanabilir.

Ancak özel bot kuralları oluştururken kullandığınız arama motorunun desteklediği robots.txt davranışlarını kontrol etmek önemlidir.

Disallow, belirli bir yolun taranmasını engellemek için kullanılır.

Örneğin:

Allow ise özellikle daha geniş bir engelleme kuralı içerisinde belirli bir alt yolun taranmasına izin verilmesi gereken durumlarda kullanılabilir.

Kurallar karmaşık hale geldikçe yanlışlıkla önemli sayfaları engelleme riski arttığı için mümkün olduğunca sade bir robots.txt yapısı tercih etmek faydalıdır.

Sitemap adresi şu şekilde belirtilebilir:

Birden fazla sitemap bulunuyorsa birden fazla Sitemap satırı kullanılabilir.

Sitemap adresinin robots.txt içerisinde belirtilmesi arama motorlarının dosyanın konumunu keşfetmesine yardımcı olur.

Google için sitemap dosyanızı ayrıca Search Console üzerinden de gönderebilirsiniz.

Bu iki kavram sıkça karıştırılır.

robots.txt, botların belirli URL’leri taramasını yönetmek için kullanılır.

noindex ise bir sayfanın arama motoru dizinine eklenmemesini belirtmek için kullanılır.

Bir sayfayı robots.txt ile engellemek, o URL’nin hiçbir koşulda Google arama sonuçlarında görünmeyeceğinin garantisi değildir. Google başka kaynaklardan URL’yi keşfedebilir.

Bu nedenle bir sayfanın indekslenmesini istemiyorsanız robots.txt ile noindex arasındaki farkı dikkate almalısınız.

robots.txt içerisine noindex benzeri bir satır ekleyerek Google için indeksleme engeli oluşturmak doğru yöntem değildir.

Bir sayfanın indekslenmemesi isteniyorsa desteklenen yöntemlerden biri sayfanın HTML bölümünde robots meta etiketi kullanmaktır:

Sunucu tarafında uygun durumlarda X-Robots-Tag HTTP başlığı da kullanılabilir.

Yanlış yapılandırılmış robots.txt dosyası sitenin önemli bölümlerinin taranmasını engelleyebilir.

Özellikle şu hatalara dikkat edin:

- Yanlışlıkla tüm siteyi engellemek

- Önemli içerik klasörlerini engellemek

- Kurallarda yanlış URL yolları kullanmak

- HTTP ve HTTPS sürümlerini karıştırmak

- robots.txt dosyasını güvenlik yöntemi olarak kullanmak

- robots.txt ile noindex işlevini karıştırmak

Örneğin:

kuralı botların sitenin tamamını taramasını engellemeyi amaçlar. Canlı bir sitede yanlışlıkla böyle bir kural bırakılması ciddi tarama sorunlarına yol açabilir.

Dosya sitenin kök seviyesinde robots.txt adıyla erişilebilir olmalıdır.

Örneğin:

Dosyayı farklı bir alt klasöre koymak aynı işlevi sağlamaz.

Ayrıca robots.txt kuralları uygulandıkları protokol, alan adı ve bağlantı noktası bağlamında değerlendirilir. Bu nedenle sitenizin gerçek kullanılan sürümündeki dosyanın doğru olduğundan emin olun.

Dosyayı tarayıcıdan açarak güncel sürümün yayınlandığını kontrol edin.

Daha önce yanlışlıkla önemli URL’leri engellediyseniz Google Search Console üzerinden ilgili sayfaların durumunu kontrol edebilirsiniz.

Google’ın değişikliği algılaması ve sayfaları yeniden taraması zaman alabilir.

Kısacası: robots.txt, arama motoru botlarının sitenizde hangi URL yollarını tarayabileceğini yönetmek için kullanılan bir dosyadır. İndeks kaldırma veya güvenlik aracı değildir. Dosyayı mümkün olduğunca sade tutun, önemli içerikleri yanlışlıkla engellemediğinizden emin olun ve sitemap adresinizi robots.txt içerisinde belirtebilirsiniz.