Botify / robots.txt snapshot

← back to botify.com · fetched 2026-06-20T14:56:27Z (7h ago) · HTTP 200 · 426 bytes · sha256 50e7ec4941b8107e · raw

final URL: https://www.botify.com/robots.txt

1	User-agent: *
2	Disallow: /*?category=
3	Disallow: /customer-categories*
4	Disallow: /blog-categories*
5	Disallow: /insight-types*
6
7	# ____ _ _ __
8	# \| _ \ \| \| (_)/ _\|
9	# \| \|_) \| ___ \| \|_ _\| \|_ _ _
10	# \| _ < / _ \\| __\| \| _\| \| \| \|
11	# \| \|_) \| (_) \| \|_\| \| \| \| \|_\| \|
12	# \|____/ \___/ \__\|_\|_\| \__, \|
13	# __/ \|
14	# \|___/
15
16	Sitemap: https://www.botify.com/sitemap.xml