İki dosya, iki iş
robots.txt tarayıcılara “nerelere girme” der; sitemap.xml “önemli URL’ler burada” listesini verir. Sitemap izin vermez; robots da tek başına indeks garantisi değildir.
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://www.ornek.com/sitemap.xml- Önemli sayfaları robots ile yanlışlıkla kapatmayın
- Sitemap’te yalnızca 200 dönen, kanonik URL’ler olsun
- Search Console’dan sitemap gönderin
- Noindex + sitemap’e eklemek kafa karıştırır; tutarlı olun
Uyarı
Disallow: / tüm siteyi taramaya kapatır. Yayına almadan önce robots’u kontrol edin.