Robots.txt ve Sitemap Denetim Aracı
Domain girin; robots, sitemap, HTTP status dağılımı, noindex/canonical uyumu ve öncelikli teknik aksiyonları tek raporda görün.
Tarama ve indeksleme sinyallerini birlikte okuyun
Robots.txt ve sitemap.xml dosyaları arama motorlarına hangi URL'lerin taranabileceğini, hangi sayfaların öncelikli olduğunu ve teknik yapı içinde hangi kaynakların görünür kalması gerektiğini anlatır. Bu denetim, robots erişimini, sitemap durumunu, HTTP yanıt kodlarını ve sayfa seviyesindeki noindex/canonical sinyallerini tek raporda birleştirir.
Yanlış disallow kuralları, eksik sitemap satırları, yönlendirmeye düşen URL'ler veya çakışan canonical değerleri tarama bütçesini boşa harcatabilir. Raporun amacı her URL'yi tek tek büyütmek değil, gerçekten görünürlük riski oluşturan teknik noktaları öncelik sırasına koymaktır.
Raporu hangi sırayla değerlendirmelisiniz?
- Önce robots.txt dosyasının erişilebilir olduğunu ve önemli alanları yanlışlıkla engellemediğini kontrol edin.
- Sitemap içindeki URL’lerin 200 yanıt verdiğini, indekslenebilir olduğunu ve doğru canonical kullandığını doğrulayın.
- Yönlendirme, noindex veya hata döndüren URL’leri etki ve tekrar sayısına göre önceliklendirin.
Sitemap, Google’a indeksleme garantisi vermez; keşif ve tarama için tutarlı bir URL listesi sunar. Bu nedenle rapordaki dosya kontrollerini sayfa kalitesi, iç bağlantılar ve Search Console kapsam verileriyle birlikte okuyun.
Sık karşılaşılan teknik sorunlar
- Sitemap içinde yönlendirmeye giden, 404 dönen veya canonical adresi farklı olan URL’ler
- Robots.txt ile engellenen fakat sitemap üzerinden gönderilmeye devam eden sayfalar
- Noindex kullanılan sayfaların indekslenebilir URL listesinde tutulması
- HTTP/HTTPS ya da www/non-www sürümlerinin aynı dosyada karışık kullanılması
Önce site genelini etkileyen robots ve protokol hatalarını, ardından tekil URL sorunlarını düzeltin. Büyük sitemaplerde aynı hata kalıbına sahip sayfaları gruplayarak şablon, kategori veya içerik tipi bazında ilerlemek daha hızlı sonuç verir. Düzeltme sonrası sitemap’i yeniden üretin ve Search Console’a tekrar gönderin.
Denetimi ne zaman tekrarlamalısınız?
Site taşıma, URL yapısı değişikliği, yeni dil veya kategori yayını, robots kuralı güncellemesi ve toplu yönlendirme çalışması sonrasında raporu yeniden çalıştırın. Ayrıca düzenli aralıklarla sitemap’e yanlışlıkla eklenen noindex, yönlendirme veya hata URL’lerini kontrol ederek teknik borcun birikmesini önleyin.