Common Crawl / robots.txt
← back to commoncrawl.org · change detected 1mo ago (2026-06-24T16:12:44Z) · modified +5 −4
What changed
- Formatting/comment-only change (no semantic difference)
Diff old (2026-06-24T03:58:34Z) → new (2026-06-24T16:12:44Z)
| @@ -1,8 +1,4 @@ | ||
| 1 | 1 | # All robots are explicitly allowed! |
| 2 | - | |
| 3 | - User-agent: * | |
| 4 | - Allow: / | |
| 5 | - Disallow: /search?* | |
| 6 | 2 | |
| 7 | 3 | # |
| 8 | 4 | # ^~. |
| @@ -52,4 +48,9 @@ | ||
| 52 | 48 | #!GGBBB##########&######&###&&&&##&&&&&#&&&&&&&&&&&&&&&&&&&&&#&&&&&&&&&&&&&&&&&&&&&&&&&&&&& |
| 53 | 49 | #7GBBB##########&&&&&&#&&###&&&&&&&&&&##&&&&&&&&&&&&&&&&&&&&&##&&&&&&&&&&&&&&&&&&&&&&&&&&&& |
| 54 | 50 | |
| 51 | + User-agent: * | |
| 52 | + Allow: / | |
| 53 | + Disallow: /search?* | |
| 54 | + | |
| 55 | + | |
| 55 | 56 | Sitemap: https://commoncrawl.org/sitemap.xml |