The Wall
Every monitored site × AI crawlers and search engines, as of 2017-11-25 — 6 of 41 sites block at least one AI crawler by name.
All cohorts
Top 1000 websites
US 500
Nasdaq 100
AI models
Cybersecurity
SEO & AI search
Creative rights-holders
Knowledge & UGC
Academic & open research
Universities
National indices
Banks & fintech
E-commerce
European companies
Social Networks
Governments
Publishers
Show all bots
blocked by name
restricted by name
via wildcard only
allowed
AI crawlers
Search engines
| Site | GPTBot | ChatGPT-User | ClaudeBot | anthropic-ai | CCBot | Google-Extended | Applebot-Extended | PerplexityBot | Bytespider | Amazonbot | meta-externalagent | Meta-WebIndexer | FacebookBot | Googlebot | Bingbot | DuckDuckBot | Baiduspider | YandexBot | Applebot |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 🇺🇸 OpenAI | |||||||||||||||||||
| 🇺🇸 Anthropic | |||||||||||||||||||
| 🇺🇸 Google DeepMind | |||||||||||||||||||
| 🇺🇸 Meta AI | |||||||||||||||||||
| 🇺🇸 ChatGPT | |||||||||||||||||||
| 🇫🇷 Mistral AI | |||||||||||||||||||
| 🇺🇸 xAI | |||||||||||||||||||
| 🇨🇦 Cohere | |||||||||||||||||||
| 🇺🇸 Perplexity | |||||||||||||||||||
| 🇺🇸 Hugging Face | |||||||||||||||||||
| 🇬🇧 Stability AI | |||||||||||||||||||
| 🇺🇸 Midjourney | |||||||||||||||||||
| 🇺🇸 Runway | |||||||||||||||||||
| 🇺🇸 ElevenLabs | |||||||||||||||||||
| 🇺🇸 Character.AI | |||||||||||||||||||
| 🇺🇸 Inflection AI | |||||||||||||||||||
| 🇺🇸 Together AI | |||||||||||||||||||
| 🇩🇪 Aleph Alpha | |||||||||||||||||||
| 🇮🇱 AI21 Labs | |||||||||||||||||||
| 🇺🇸 Databricks | |||||||||||||||||||
| 🇺🇸 Scale AI | |||||||||||||||||||
| 🇺🇸 Replicate | |||||||||||||||||||
| 🇺🇸 Groq | |||||||||||||||||||
| 🇺🇸 Cerebras | |||||||||||||||||||
| 🇨🇳 01.AI | |||||||||||||||||||
| 🇺🇸 Reka | |||||||||||||||||||
| 🇺🇸 Contextual AI | |||||||||||||||||||
| 🇺🇸 Writer | |||||||||||||||||||
| 🇺🇸 Jasper | |||||||||||||||||||
| 🇺🇸 Suno | |||||||||||||||||||
| 🇺🇸 Udio | |||||||||||||||||||
| 🇺🇸 Luma AI | |||||||||||||||||||
| 🇺🇸 Pika | |||||||||||||||||||
| 🇺🇸 LangChain | |||||||||||||||||||
| 🇺🇸 Pinecone | |||||||||||||||||||
| 🇳🇱 Weaviate | |||||||||||||||||||
| 🇺🇸 OpenRouter | |||||||||||||||||||
| 🇺🇸 Anysphere (Cursor) | |||||||||||||||||||
| 🇺🇸 Gemini | |||||||||||||||||||
| 🇺🇸 Claude | |||||||||||||||||||
| 🇺🇸 Grok |