Petrobras / robots.txt snapshot

← back to petrobras.com.br · fetched 2026-08-24T19:21:08Z (2mo ago) · HTTP 200 · 986 bytes · sha256 fe222f71d68419b9 · raw

final URL: https://petrobras.com.br/robots.txt

1	User-Agent: *
2	Crawl-delay: 5
3
4	# Diretórios e rotas técnicas do Liferay que podem ser excluídos do rastreamento
5	Disallow: /c/portal/
6	Disallow: /*/c/portal/
7	Disallow: /group/
8	Disallow: /o/
9	Disallow: /web/
10	Disallow: /documents/d/*
11	Disallow: /image/journal/
12	Disallow: /html/
13	Disallow: /combo
14	Disallow: /delegate/
15	Disallow: /layout_configuration/
16	Disallow: /widget/
17	Disallow: /api/
18	Disallow: /control_panel/
19	Disallow: /user/
20	Disallow: /guest/
21
22	# Busca interna e páginas com parâmetros que geram conteúdo duplicado
23	Disallow: /resultado-da-busca
24	Disallow: /?q=
25	Disallow: /?delta=
26	Disallow: /?p_l_back_url
27	Disallow: /?category=
28	Disallow: /?tag=
29	Disallow: /?sort=
30	Disallow: /?page=
31	Disallow: /?p_p_
32
33	# Web Stories (se não forem conteúdo principal e indexável)
34	Disallow: /web-stories?*
35
36	# Exceções: conteúdo de imagem e documentos que devem permanecer indexáveis
37	Allow: /o/adaptive-media/image/
38	Allow: /documents/d/nossa-energia/
39
40	Sitemap: https://petrobras.com.br/sitemap.xml