🇩🇪 Hapag-Lloyd
hapag-lloyd.com · European companies · rank #134 · Shipping · live robots.txt ↗
AI crawler access (latest snapshot, 13h ago)
⛔blocked
restricted
✅allowed
faded = inherited from the * wildcard group
✅GPTBot
✅ChatGPT-User
✅OAI-SearchBot
✅ClaudeBot
✅Claude-User
✅Claude-SearchBot
✅anthropic-ai
✅Claude-Web
✅CCBot
✅Google-Extended
✅Applebot-Extended
✅PerplexityBot
✅Perplexity-User
✅Bytespider
✅Amazonbot
✅FacebookBot
✅meta-externalagent
✅meta-externalfetcher
✅cohere-ai
✅AI2Bot
✅Diffbot
✅omgili
✅YouBot
✅DuckAssistBot
✅MistralAI-User
✅PanguBot
✅Timpibot
Current robots.txt 2839 bytes · sha256 f983cdfb8976 · raw
# &&&&&&&&&&& &&&&&&&&&&& # &&&&&&&&&&& &&&&&&&&&&& # &&&&&&&&&&& &&&&&&&&&&& # &&&&&&&&&&& &&&&&&&&&&& # &&&&&&&&&&& &&&&&&&&&&& # %&&&&&&&&&&&&&&&&&&&&&&&&&&&&&& # &&&&&&&&&&&&&&&&&&&&&&&&&&&&&&& # &&&&&&&&&&& &&&&&&&&&&& # &&&&&&&&&&& .&&&&&&&&&&/ # &&&&&&&&&&& #&&&&&&&&&& User-Agent: * Sitemap: https://www.hapag-lloyd.com/sitemap.xml # # # ****************************************** # ///************************************///, # /// *//, # *///, ,////. # .//// ////, # *///////////////////////////////////////////////// # *//. /// # *//. **. **. **. **. **. /// # *//. .//* ./// ,//* .//* ./// /// # *//. .//* ./// *///. .//* ./// /// # *//. .//* .//////////////////* ./// /// # *//. .//* ,//////* ,/// ,//////*../// /// # *//. .*//////, ,/// *//////. /// # *///////*. .//* ,//////// # .*//////. .//* .*//////, # /// .//* ///, # ./// .//* *//, # ,//* .//* ,/// # *//* .//* ./// # ///. .//* ./// # ///. .//* ///. # ./// *//. # ,, . ,* .* .* .* # *////* *////*. */////. ,/////. ,/////. # ,//////* *//////////* *///////////. ,///////////. ,///////////. ,//////*
Change history
-
initial snapshot
- First snapshot of robots.txt archived