NeuralCrawl

Itaú Unibanco / robots.txt

← back to itau.com.br · change detected 1mo ago (2026-08-17T11:01:05Z) · modified +112 −29

What changed

Diff old (2026-06-20T01:10:30Z) → new (2026-08-17T11:01:05Z)

@@ -1,52 +1,135 @@
1- # Allow AI search and agent use
1+ ###############################################
2+ # robots.txt - Permitir indexação e leitura por LLMs e buscadores
3+ # Última atualização: 05/2026
4+ ###############################################
5+
6+ # Aplicar regras gerais a todos os robôs
7+ User-agent: *
8+ Allow: / # Permite acesso geral ao site
9+ Disallow: /mapa-fst/ # Bloqueia painel internos
10+ Disallow: /xml
11+ Disallow: /Xml/
12+ Disallow: /404/
13+ Disallow: /*.pdf$
14+ Disallow: /_arquivosestaticos/
15+ Disallow: /content/itau/resultado-de-busca-generico
16+ Disallow: /private/
17+ Disallow: /auth/
18+ Disallow: /login/
19+ Disallow: /minhaconta/
20+ Disallow: /api/internal/
21+ Disallow: /admin/
22+
23+ # Exceções — liberar arquivos que são necessários para o funcionamento visual do site
24+ Allow: /investimentos/
25+ Allow: /api/public/
26+ Allow: /api/hub-content/
27+ Allow: /api/llm-access/
28+ Allow: /static/images/
29+ Allow: /static/assets/
30+
31+
32+ ###############################################
33+ # Permissões específicas para LLMs (modelos de IA)
34+ # Esses agentes pertencem a sistemas de IA generativa e buscadores com extensão LLM
35+ ###############################################
36+
37+ # OpenAI / ChatGPT
238  User-agent: OAI-SearchBot
339  Allow: /
40+ Allow: /investimentos/
41+ Disallow: /login/
42+ Disallow: /private/
43+ Disallow: /api/internal/
444 
5- User-agent: ChatGPT-User
45+ # Google / Gemini (para acesso ampliado de IA)
46+ User-agent: Google-Extended
647  Allow: /
748 
49+ # Anthropic / Claude
50+ User-agent: ClaudeBot
51+ Allow: /
52+ Allow: /investimentos/
53+ Disallow: /auth/
54+ Disallow: /api/internal/
55+
56+ # Perplexity AI
857  User-agent: PerplexityBot
958  Allow: /
59+ Allow: /investimentos/
60+ Disallow: /auth/
61+ Disallow: /api/internal/
1062 
11- User-agent: Perplexity-User
63+ # Microsoft Bing / Copilot
64+ User-agent: BingBot
1265  Allow: /
1366 
14- User-agent: PerplexityiOS
67+ # Apple / Applebot e Applebot-Extended (para Siri, Spotlight, Apple Intelligence)
68+ User-agent: Applebot
69+ Allow: /
70+ User-agent: Applebot-Extended
1571  Allow: /
1672 
17- User-agent: ClaudeBot
73+ # Meta (Facebook / Instagram)
74+ User-agent: facebookexternalhit
75+ Allow: /
76+ User-agent: meta-externalagent
1877  Allow: /
1978 
20- User-agent: Claude-User
79+ # LinkedIn
80+ User-agent: LinkedInBot
2181  Allow: /
2282 
23- User-agent: FirecrawlAgent
83+ # Amazon (Alexa, AWS, Amazon Search)
84+ User-agent: Amazonbot
2485  Allow: /
2586 
26- User-agent: AndiBot
27- Allow: /
28-
29- User-agent: ExaBot
30- Allow: /
31-
32- User-agent: PhindBot
33- Allow: /
34-
35- User-agent: YouBot
36- Allow: /
37-
38- # Allow all crawlers
39- User-agent: *
87+ # Common Crawl (fornece muitos conjuntos de dados usados em IA)
88+ User-agent: CCBot
4089  Allow: /
4190 
4291 
43- Disallow: /mapa-fst/
44- Disallow: /xml/
45- Disallow: /Xml/
46- Disallow: /404/
47- Disallow: /*.pdf*
48- Disallow: /_arquivosestaticos/*
49- Disallow: /content/itau/resultado-de-busca-generico*
92+ Crawl-delay: 10
93+
94+ ###############################################
95+ # Sitemap — referência oficial de URLs do site
96+ ###############################################
5097 
5198 
52- Sitemap: https://www.itau.com.br/sitemap.xml
99+ https://www.itau.com.br/investimentos/tipos-de-investimentos/sitemap.xml
100+ https://www.itau.com.br/investimentos/analises/sitemap.xml
101+ https://www.itau.com.br/investimentos/carteiras-recomendadas/sitemap.xml
102+ https://www.itau.com.br/investimentos/noticias/sitemap.xml
103+ https://www.itau.com.br/investimentos/blog/sitemap.xml
104+
105+
106+
107+ # Itau Unibanco
108+
109+ > Abra sua conta no Banco Itaú: Soluções financeiras para você
110+
111+ Abra sua conta no Itaú e aproveita ofertas especiais. Renegociação de dívidas, cartão de crédito, empréstimo pessoal e muito mais. Confira!
112+
113+ ## Para Você
114+
115+ - [Investimentos](https://www.itau.com.br/investimentos): Conheça os tipos de investimentos financeiros que o Itaú oferece e encontre a melhor maneira de investir para alcançar seus objetivos.
116+ - [Empréstimos e Financiamentos](https://www.itau.com.br/emprestimos-financiamentos): Crédito pessoal, financiamento imobiliário, de veículos e muito mais. Empréstimo pessoal online com a primeira parcela em 30 dias*. Fale com a gente!
117+ - [Conta Corrente](https://www.itau.com.br/contas/conta-corrente): Abra sua conta corrente sem mensalidade no Itaú. Aproveite benefícios exclusivos e encontre a conta que mais combina com você. Confira!
118+ - [Cartões de Crédito](https://www.itau.com.br/cartoes): Solicite seu cartão Itaú e aproveite os benefícios. Com o Itaú cartões você garante cashback, pontos para trocar por viagens e produtos e muito mais
119+ - [Título de Capitalização](https://www.itau.com.br/capitalizacao): O PIC é o título de capitalização do Itaú, um produto de sorte no qual você concorre a prêmios em dinheiro de até 2 milhões de reais. Acesse e confira!
120+
121+ ## Para empresas
122+
123+ - [Conta Jurídica](https://www.itau.com.br/empresas/abra-sua-conta): Abra sua conta PJ com Itaú Empresas e tenha soluções completas, gestão eficiente e benefícios exclusivos para sua empresa. Clique aqui e abra sua conta PJ!
124+ - [Empréstimo Empresarial](https://www.itau.com.br/empresas/emprestimos-financiamentos): Buscando por empréstimos e financiamentos para sua empresa? Conte com todas as soluções do Itaú Empresas para seu negócio evoluir.
125+
126+
127+ ###############################################
128+ # Recomendações adicionais (opcionais)
129+ # - Adicione no <head> das páginas:
130+ # <meta name="robots" content="index, follow">
131+ # <meta name="ai-access" content="allow">
132+ # - Esses metadados ajudam novos crawlers de IA a identificar permissão explícita.
133+ ###############################################
134+
135+