The Wall
Every monitored site × AI crawlers and search engines, as of 2026-06-20 — 1 of 49 sites block at least one AI crawler by name.
All cohorts
Top 1000 websites
US 500
Nasdaq 100
AI labs
Cybersecurity
SEO & AI search
Creative rights-holders
Knowledge & UGC
National indices
Banks & fintech
European companies
Social Networks
Governments
Publishers
Show all bots
blocked by name
restricted by name
via wildcard only
allowed
AI crawlers
Search engines
| Site | GPTBot | ChatGPT-User | ClaudeBot | anthropic-ai | CCBot | Google-Extended | Applebot-Extended | PerplexityBot | Bytespider | Amazonbot | meta-externalagent | FacebookBot | Googlebot | Bingbot | DuckDuckBot | Baiduspider | YandexBot | Applebot |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 🇺🇸 Yahoo Search | ||||||||||||||||||
| 🇸🇬 Ahrefs | ||||||||||||||||||
| 🇺🇸 Algolia | ||||||||||||||||||
| 🇺🇸 Andi Search | ||||||||||||||||||
| 🇺🇸 Anthropic | ||||||||||||||||||
| 🇺🇸 Arc Search | ||||||||||||||||||
| 🇨🇳 Baidu | ||||||||||||||||||
| 🇫🇷 Botify | ||||||||||||||||||
| 🇺🇸 Brave Search | ||||||||||||||||||
| 🇺🇸 BrightEdge | ||||||||||||||||||
| 🇺🇸 Clearscope | ||||||||||||||||||
| 🇺🇸 Common Crawl | ||||||||||||||||||
| 🇺🇸 Conductor | ||||||||||||||||||
| 🇺🇸 Consensus | ||||||||||||||||||
| 🇺🇸 Diffbot | ||||||||||||||||||
| 🇺🇸 DuckDuckGo | ||||||||||||||||||
| 🇩🇪 Ecosia | ||||||||||||||||||
| 🇺🇸 Elastic | ||||||||||||||||||
| 🇺🇸 Exa | ||||||||||||||||||
| 🇯🇵 Felo | ||||||||||||||||||
| 🇺🇸 Kagi | ||||||||||||||||||
| 🇺🇸 Komo | ||||||||||||||||||
| 🇬🇧 Lumar | ||||||||||||||||||
| 🇬🇧 Majestic | ||||||||||||||||||
| 🇺🇸 Microsoft Bing | ||||||||||||||||||
| 🇬🇧 Mojeek | ||||||||||||||||||
| 🇺🇸 Moz | ||||||||||||||||||
| 🇰🇷 Naver | ||||||||||||||||||
| 🇺🇸 NeuralCrawl | ||||||||||||||||||
| 🇫🇷 Oncrawl | ||||||||||||||||||
| 🇺🇸 OpenAI | ||||||||||||||||||
| 🇺🇸 Perplexity | ||||||||||||||||||
| 🇺🇸 Poe | ||||||||||||||||||
| 🇺🇸 Profound | ||||||||||||||||||
| 🇫🇷 Qwant | ||||||||||||||||||
| 🇺🇸 Schema.org | ||||||||||||||||||
| 🇬🇧 Screaming Frog | ||||||||||||||||||
| 🇺🇸 Semrush | ||||||||||||||||||
| 🇺🇸 seoClarity | ||||||||||||||||||
| 🇺🇸 SerpApi | ||||||||||||||||||
| 🇺🇸 Similarweb | ||||||||||||||||||
| 🇬🇧 Sitebulb | ||||||||||||||||||
| 🇳🇱 Startpage | ||||||||||||||||||
| 🇵🇱 Surfer | ||||||||||||||||||
| 🇺🇸 Tavily | ||||||||||||||||||
| 🇮🇱 Webz.io | ||||||||||||||||||
| 🇷🇺 Yandex | ||||||||||||||||||
| 🇺🇸 You.com |