NeuralCrawl

Petrobras / robots.txt

← back to petrobras.com.br · change detected 2mo ago (2026-08-26T14:01:29Z) · modified +6 −6

What changed

Diff old (2026-08-24T19:21:08Z) → new (2026-08-26T14:01:29Z)

@@ -1,13 +1,11 @@
11  User-Agent: *
22  Crawl-delay: 5
3-
3+
44  # Diretórios e rotas técnicas do Liferay que podem ser excluídos do rastreamento
5- Disallow: /c/portal/
65  Disallow: /*/c/portal/
7- Disallow: /group/
6+ Disallow: /*/group/
87  Disallow: /o/
98  Disallow: /web/
10- Disallow: /documents/d/*
119  Disallow: /image/journal/
1210  Disallow: /html/
1311  Disallow: /combo
@@ -33,8 +31,10 @@
3331  # Web Stories (se não forem conteúdo principal e indexável)
3432  Disallow: /web-stories?*
3533 
36- # Exceções: conteúdo de imagem e documentos que devem permanecer indexáveis
34+ # Exceções: documentos institucionais (PDFs) e imagens de conteúdo devem permanecer indexáveis
35+ Allow: /documents/d/
3736  Allow: /o/adaptive-media/image/
38- Allow: /documents/d/nossa-energia/
37+ Allow: /o/tema-site-externo-petrobras/images/
38+
3939 
4040  Sitemap: https://petrobras.com.br/sitemap.xml