NeuralCrawl

Nvidia / robots.txt snapshot

← back to nvidia.com · fetched 2026-06-20T01:10:30Z (17h ago) · HTTP 200 · 4723 bytes · sha256 ee2d5d552400dafc · raw

final URL: https://www.nvidia.com/robots.txt

1#
2# Welcome to NVIDIA
3#
4#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
5#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
6#@@@@@@@@@@@@@@@@@@@@@@@@@@%#@#////////////////////////////////@@@@@@@@@@@@@@@@@@
7#@@@@@@@@@@@@@@@@@//////////@@@@@@@@@@@@///////////////////////@@@@@@@@@@@@@@@@@@
8#@@@@@@@@@@@@@//////@@@@@@@@/////////@@@@@@@///////////////////@@@@@@@@@@@@@@@@@@
9#@@@@@@@@@//////@@@@@@//////@@@@@@@//////@@@@@@////////////////@@@@@@@@@@@@@@@@@@
10#@@@@@@//////@@@@@//////@@@@///@@@@@@@/////&@@@@@//////////////@@@@@@@@@@@@@@@@@@
11#@@@@@@//////@@@@////@@@@@@@/////@@@@/////@@@@@@///////////////@@@@@@@@@@@@@@@@@@
12#@@@@@@@@/////@@@@/////@@@@@////////////@@@@@///////@//////////@@@@@@@@@@@@@@@@@@
13#@@@@@@@@@//////@@@@/////@@@/////////@@@@@///////@@@@@@@@//////@@@@@@@@@@@@@@@@@@
14#@@@@@@@@@@@//////@@@@@/////@@@@@@@@@@////////@@@@@@@@@@@//////@@@@@@@@@@@@@@@@@@
15#@@@@@@@@@@@@@@//////@@@@@@@/////////////@@@@@@@@@@@///////////@@@@@@@@@@@@@@@@@@
16#@@@@@@@@@@@@@@@@@/////////%/////@@@@@@@@@@@@@/////////////////@@@@@@@@@@@@@@@@@@
17#@@@@@@@@@@@@@@@@@@@@@@@&///@@@@@@@@///////////////////////////@@@@@@@@@@@@@@@@@@
18#@@@@@@@@@@@@@@@@@@@@@@@@@@@///////////////////////////////////@@@@@@@@@@@@@@@@@@
19#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
20#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
21#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
22#
23# We dig it when people read our code! Check out the jobs while you're here.
24# https://www.nvidia.com/en-us/about-nvidia/careers/
25#
26# Or check out our YouTube channel for our latest
27# https://www.youtube.com/user/nvidia
28#
29# Last updated 19 Nov 2025 by LC
30
31sitemap: https://www.nvidia.com/sitemap_index.xml
32
33# AI Agents
34User-agent: ai2bot
35User-agent: anthropic-ai
36User-agent: Amazonbot
37User-agent: Amazon-kendra
38User-agent: Applebot-extended
39User-agent: AutoGPT
40User-agent: BedrockBot
41User-agent: Bytespider
42User-agent: CCBot
43User-agent: Chatglm-spider
44User-agent: ChatGPT
45User-agent: ChatGPT-User
46User-agent: Claudebot
47User-agent: Claude-user
48User-agent: Claude-search
49User-agent: Claude-web
50User-agent: Cohere-ai
51User-agent: Cotoyogi
52User-agent: Deepseek
53User-agent: Deepseek Chat
54User-agent: Deepseekbot
55User-agent: DuckAssistBot
56User-agent: DuckDuckBot
57User-agent: FacebookBot
58User-agent: Geminiios
59User-agent: Google-Extended
60User-agent: Googleagent-manier
61User-agent: GPTBot
62User-agent: Grok
63User-agent: ia-archiver
64User-agent: iaskbot
65User-agent: iaskspider
66User-agent: ICC-crawler
67User-agent: Linerbot
68User-agent: Metaaib
69User-agent: Meta-externalagent
70User-agent: Meta-externalfetcher
71User-agent: Meta-llama
72User-agent: Mistralai-user
73User-agent: NovaAct
74User-agent: OAI-Searchbot
75User-agent: Pangubot
76User-agent: Perplexity
77User-agent: PerplexityBot
78User-agent: Perplexity-user
79User-agent: Phindbot
80User-agent: PoeBot
81User-agent: Qwen
82User-agent: Sogou
83User-agent: Timpibot
84User-agent: Tongyi
85User-agent: Wenxiaobai
86User-agent: Xinghuo
87User-agent: Youbot
88User-agent: Yuanbaobot
89Allow: /*.llms.txt$
90Allow: /*.md$
91Allow: https://www.nvidia.com/llms.txt
92
93User-agent: Googlebot
94User-agent: Googlebot Smartphone
95User-agent: Google AdsBot
96User-agent: Bingbot
97Disallow: /*.md$
98Disallow:/*.llms.txt$
99
100User-agent: *
101
102# Gated Content
103Disallow: /content/g/*
104Disallow: /content/gated-pdfs/*
105Disallow: /content/*/gated-resources/*
106Disallow: /content/*/gated-pdfs/*
107Disallow: /gated-resources/*
108
109# GF Forums
110Disallow: /*?topicPage=
111Disallow: /*&topicPage=
112Disallow: /*?commentPage=
113Disallow: /*&commentPage=
114
115Disallow: /admin/
116Disallow: /attach/
117Disallow: /content/experience-fragments/*
118Disallow: /content/forms/
119Disallow: /content/license/driver_license.aspx
120Disallow: /content/nvidiaGDC.*\.(?!png|jpg|svg).+$
121Disallow: /content/temp/*
122Disallow: /ddl2*
123Disallow: /email-verify/*
124Disallow: /forms/*
125Disallow: /*/geforce/release-notes/GFE/Rich/*
126Disallow: /*/geforce/release-notes/GFN/Rich/*
127Disallow: /*/geforce/release-notes/GFNB/Rich/*
128Disallow: /*/geforce/comparisons/*
129Disallow: /*/geforce/billboards/*
130Disallow: /*/geforce/news/gfecnt/*
131Disallow: /processFind*
132Disallow: /props/
133Disallow: /*.swf$
134
135# Parameters
136
137Disallow: /*[?&]accessToken=*
138Disallow: /*[?&]cid=*
139Disallow: /*[?&]eid=*
140Disallow: /*[?&]hstc=*
141Disallow: /*[?&]jso=*
142Disallow: /*[?&]link=*
143Disallow: /*[?&]lx=*
144Disallow: /*[?&]ncid=*
145Disallow: /*[?&]nv_excludes=*
146Disallow: /*[?&]nvid=*
147Disallow: /*[?&]page=*
148Disallow: /*[?&]ref=*
149Disallow: /*[?&]srsltid=*
150Disallow: /*[?&]section=*
151Disallow: /*[?&]target=*
152Disallow: /*[?&]topicpage=*
153Disallow: /*[?&]utm*
154
155# GTC Fixes
156
157Disallow: /*[?&]regcode=*
158Disallow: /*[?&]wcmmode=*
159Disallow: /*/gtc/gtc-chatbot/*