Petrobras / robots.txt snapshot

← back to petrobras.com.br · fetched 2026-08-26T14:01:29Z (2mo ago) · HTTP 200 · 995 bytes · sha256 89d09f5430d7eabd · raw

final URL: https://petrobras.com.br/robots.txt

1	User-Agent: *
2	Crawl-delay: 5
3
4	# Diretórios e rotas técnicas do Liferay que podem ser excluídos do rastreamento
5	Disallow: /*/c/portal/
6	Disallow: /*/group/
7	Disallow: /o/
8	Disallow: /web/
9	Disallow: /image/journal/
10	Disallow: /html/
11	Disallow: /combo
12	Disallow: /delegate/
13	Disallow: /layout_configuration/
14	Disallow: /widget/
15	Disallow: /api/
16	Disallow: /control_panel/
17	Disallow: /user/
18	Disallow: /guest/
19
20	# Busca interna e páginas com parâmetros que geram conteúdo duplicado
21	Disallow: /resultado-da-busca
22	Disallow: /?q=
23	Disallow: /?delta=
24	Disallow: /?p_l_back_url
25	Disallow: /?category=
26	Disallow: /?tag=
27	Disallow: /?sort=
28	Disallow: /?page=
29	Disallow: /?p_p_
30
31	# Web Stories (se não forem conteúdo principal e indexável)
32	Disallow: /web-stories?*
33
34	# Exceções: documentos institucionais (PDFs) e imagens de conteúdo devem permanecer indexáveis
35	Allow: /documents/d/
36	Allow: /o/adaptive-media/image/
37	Allow: /o/tema-site-externo-petrobras/images/
38
39
40	Sitemap: https://petrobras.com.br/sitemap.xml