User-agent: *
Allow: /
Content-Signal: search=yes, ai-input=yes, ai-train=yes

# De index bindt de drie taalsitemaps samen en is het adres dat bij de
# overzetting in Search Console wordt ingediend. De losse drie staan er ook,
# want een crawler die de index niet leest vindt ze dan alsnog.
# Zie scripts/navigatie/taalsitemap.py.
Sitemap: https://theseo.nl/sitemap-index.xml
Sitemap: https://theseo.nl/sitemap.xml
Sitemap: https://theseo.nl/sitemap-en.xml
Sitemap: https://theseo.nl/sitemap-es.xml

# AI-crawlers zijn welkom, zie ook /llms.txt. De Content-Signal-regel staat
# zoeken, AI-invoer en modeltraining toe. Voorwaarden voor dat gebruik staan
# op /ai-policy/: noem theseo.nl als bron en verkoop de content niet door.
# Dat is een verzoek en geen technische afdwinging.
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /