# tdbi.org / tdbi-amp1.top — robots.txt
# 2026 standartlarına uygun: Googlebot ve Bingbot için açık, AI tarayıcılar
# için açık görünür (LLM trainingi engellemiyoruz, görünürlük için).

User-agent: *
Allow: /
Disallow: /admin
Disallow: /admin/
Disallow: /healthz
Disallow: /static/uploads/_temp/
# İlan detay sayfaları kullanıcı içeriği niteliğindedir; tarama bütçesi
# kategori (il / ilçe / hikaye) sayfalarına ayrılır. İlanlar `noindex,follow`
# header'ı ile zaten index'ten çıkar; bot trafiğini tamamen kesmek için
# wildcard Disallow uygularız.
Disallow: /sehir/*/ilan/
Disallow: /amp/sehir/*/ilan/

# Yaygın botlar için açık izin (Crawl-delay vermeyiz, Google zaten ignore eder)
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /sehir/*/ilan/
Disallow: /amp/sehir/*/ilan/

User-agent: Googlebot-Image
Allow: /static/uploads/
Disallow: /sehir/*/ilan/
Disallow: /amp/sehir/*/ilan/

User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /sehir/*/ilan/
Disallow: /amp/sehir/*/ilan/

User-agent: DuckDuckBot
Allow: /

User-agent: YandexBot
Allow: /

# Sitemap
Sitemap: https://tdbi.org/sitemap.xml