NeuralCrawl

Hyundai Motor / robots.txt

← back to hyundai.com · change detected 4d ago (2026-11-03T06:59:34Z) · modified +37 −0

What changed

Diff old (2026-09-16T08:45:16Z) → new (2026-11-03T06:59:34Z)

@@ -73,9 +73,46 @@
7373  Disallow: /sg/search
7474  Disallow: /libs/granite/
7575  Disallow: /*?select-model-name
76+ Disallow: /de/de/haendlerkontakt/
77+ Disallow: /de/de/modelle-wip/
78+ Disallow: /de/de/fuer-tests/
79+ Disallow: /de/de/fuer-modellseiten-Tests/
80+ Disallow: /de/de/archiv-modelle/
81+ Disallow: /de/de/archiv-content-pages/
82+ Disallow: /de/de/redirect/videos/safety/
83+ Disallow: /de/de/redirect/modell-info/
84+ Disallow: /de/de/*?email=
85+ Disallow: /nl/nl/scripts/
86+ Disallow: /nl/nl/xml/
87+ Disallow: /nl/nl/feeds/
88+ Disallow: /be/fr/api/
89+ Disallow: /be/nl/api/
90+ Disallow: /fr/fr/caconfig*
91+ Disallow: /fr/fr/config-label*
92+ Disallow: /fr/fr/entreprises/hyundai-entreprises/offres-entreprises/contact.html#!/l/
93+ Disallow: /fr/fr/live-chat/
94+ Disallow: /fr/fr/clicktobuy/
95+ Disallow: /fr/fr/*select-model-name
96+ Disallow: /se/sv/caconfig*
97+ Disallow: /se/sv/email-templates*
98+ Disallow: /se/sv/configurator-labels*
7699 
77100  User-agent: ScrapeHero
78101  Disallow: /
102+
103+ User-agent: dotbot
104+ User-agent: oBot
105+ User-agent: MJ12bot
106+ Disallow: /nl/nl/
107+
108+ User-agent: CazoodleBot
109+ User-agent: dotbot/1.0
110+ User-agent: Gigabot
111+ Disallow: /it/it/
112+
113+ User-agent: ia_archiver
114+ Disallow: /be/fr/
115+ Disallow: /be/nl/
79116 
80117  # Optional restrictions currently under review
81118  # Disallow: /pa/