# robots.txt för https://www.tjb.se
# Plattform: Webflow. Uppdaterad: 2026-10-09
# Alla crawlers, inklusive AI-botar, tillåts läsa innehållet,
# med undantag för scrapers och SEO-crawlers listade nedan.
# Sitemap-raden läggs till automatiskt av Webflow.

User-agent: *
Allow: /
# Blockera interna sökresultat (tunt och duplicerat innehåll)
Disallow: /search
Disallow: /*?query=
# Blockera gamla pagineringsparametrar (ger 404)
Disallow: /*?65215461_page=

# Blockera aggressiva scrapers och SEO-crawlers (bandbredd)
User-agent: Bytespider
User-agent: CCBot
User-agent: PetalBot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: MJ12bot
Disallow: /

Sitemap: https://www.tjb.se/sitemap.xml