NeuralCrawl

Le Figaro / robots.txt

← back to lefigaro.fr · change detected 30d ago (2026-07-08T02:36:30Z) · modified +58 −0

What changed

Diff old (2026-06-20T01:10:30Z) → new (2026-07-08T02:36:30Z)

@@ -1,3 +1,31 @@
1+ # :.
2+ # ++.
3+ # .+**:
4+ # .+****.
5+ # =******..
6+ # .********:.
7+ # -*********-.
8+ # =***********#FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF#.
9+ # .-************#FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF#.
10+ # .++=*************#FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF#.
11+ # .+****************FFFFFFFFFFFFFFFFFFFFFFFFFFFFFF#.
12+ # -****************#FFFFFFFF# .#FFFFFFFF#.
13+ # .+***************#FFFFFFF# .=+++++++++.
14+ # .+**************#FFFFFF#
15+ # .-+************FFFFFF#
16+ # .-**************FFFFFFFFFFFFFFFFF:
17+ # .-************FFFFFFFFFFFFFFFFF:
18+ # ..=*********FFFFFFFFFFFFFFFFF:
19+ # .##******FFFFFFFFFFFFFFFFF:
20+ # #FFFF##*FFFFFF#*+.
21+ # #FFFFFFFFFFFFF#***=.
22+ # #FFFFFFFFFFFFF# .:+*-.
23+ # .#FFFFFFFFFFFFF#. -*-
24+ # +FFFFFFFFFFFFFFFFFFFFFFF- :+.
25+ # +FFFFFFFFFFFFFFFFFFFFFFF- .-=.
26+ # +FFFFFFFFFFFFFFFFFFFFFFF- .=-.
27+ # +FFFFFFFFFFFFFFFFFFFFFFF- .+.
28+
129  # Toute utilisation de nos contenus protégés autre qu'un usage strictement individuel (incluant notamment l'entraînement des grands modèles de langage (LLM),
230  # l'entraînement des outils d'intelligence artificielle, la veille web ou le media monitoring) est conditionnée à la conclusion d'une licence d'utilisation
331  # avec la SOCIETE DU FIGARO. Nous vous invitons à cette fin à contacter [email protected].
@@ -7,6 +35,8 @@
735  #
836  # Il est interdit de crawler notre site web en utilisant un agent d'utilisateur (user agent) volé qui ne correspond pas à votre identité.
937  # L'utilisation des robots d'indexation web ou d'autres méthodes automatiques de feuilletage ou de navigation sur ce site Web n'est pas autorisée.
38+
39+ #Généralités
1040 
1141  User-agent: *
1242  Disallow: /async/
@@ -110,10 +140,22 @@
110140  User-agent: cohere-ai
111141  Disallow: /
112142 
143+ User-agent: CohereBot
144+ Disallow: /
145+
113146  User-agent: GPTBot
114147  Disallow: /
115148 
116149  User-agent: Google-Extended
150+ Disallow: /
151+
152+ User-agent: Kimi-SearchBot
153+ Disallow: /
154+
155+ User-agent: Kimi-User
156+ Disallow: /
157+
158+ User-agent: KimiBot
117159  Disallow: /
118160 
119161  #Crawler
@@ -181,6 +223,9 @@
181223  User-agent: cosmos
182224  Disallow: /
183225 
226+ User-agent: CragCrawler
227+ Disallow: /
228+
184229  User-agent: Crescent
185230  Disallow: /
186231 
@@ -227,6 +272,9 @@
227272  Disallow: /
228273 
229274  User-agent: gammaSpider
275+ Disallow: /
276+
277+ User-agent: GeistHaus-PageFetcher
230278  Disallow: /
231279 
232280  User-agent: grub-client
@@ -358,6 +406,12 @@
358406  Disallow: /
359407 
360408  User-agent: QuepasaCreep
409+ Disallow: /
410+
411+ User-agent: Querit-SearchBot
412+ Disallow: /
413+
414+ User-agent: QueritBot
361415  Disallow: /
362416 
363417  User-agent: QueryN Metasearch
@@ -704,6 +758,9 @@
704758  User-agent: UrlPouls
705759  Disallow: /
706760 
761+ User-agent: UseAI
762+ Disallow: /
763+
707764  User-agent: vecteurplus
708765  Disallow: /
709766 
@@ -772,6 +829,7 @@
772829 
773830  User-agent: Youmag
774831  Disallow: /
832+
775833  Sitemap: https://sitemaps.lefigaro.fr/lefigaro.fr/articles.xml
776834  Sitemap: https://sitemaps.lefigaro.fr/lefigaro.fr/sections.xml
777835  Sitemap: https://sitemaps.lefigaro.fr/lefigaro.fr/topics.xml