Robots · User-Agents · Adresse IP

Nos robots

Vous avez trouvé globetrotters.ai/bot dans vos logs : l'un de nos robots est passé sur votre site. Ils travaillent pour les marques du tourisme qui gèrent leur Présence IA Officielle avec Globetrotters, et pour quiconque lance l'audit AI Readiness gratuit. Ils ne lisent que des pages publiques, et envoient peu de requêtes.

Notre adresse IP sortante

34.53.138.166

Une seule adresse IPv4 fixe. Nous n’envoyons aucune requête en IPv6.

Nos User-Agents

Chaque requête de nos robots porte l'un de ces identifiants, avec un lien vers cette page.

Audit AI Readiness

GlobetrottersReadinessBot/1.0 (+https://globetrotters.ai/bot)

Lit un site comme le ferait un assistant IA, et mesure à quel point il le comprend. L'audit est lancé par le propriétaire du site depuis le Studio, ou par n'importe qui sur readiness.globetrotters.ai.

L'identifiant suit un User-Agent Chrome de bureau, pour que les pages s'affichent comme dans un navigateur :

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36 GlobetrottersReadinessBot/1.0 (+https://globetrotters.ai/bot)

Vérification de l'installation

GlobetrottersApexProbe/1.0 (+https://globetrotters.ai/bot)

Vérifie que la Présence IA Officielle installée sur votre domaine (plugin WordPress ou bundle Symfony) est en ligne et à jour quand vous cliquez sur Check install dans le Studio, et contrôle votre clé IndexNow. Une ou deux requêtes par vérification.

L'une d'elles teste si votre site laisse passer GPTBot. Elle utilise le User-Agent de GPTBot, suivi de notre identifiant :

Mozilla/5.0 (compatible; GPTBot/1.0; +https://openai.com/gptbot) GlobetrottersApexProbe/1.0

Favicon

GlobetrottersFaviconBot/1.0 (+https://globetrotters.ai/bot)

Récupère une seule fois le favicon ou le logo d'une marque, pour ses pages de présence.

L'audit vérifie aussi comment votre site répond aux robots des IA eux-mêmes (GPTBot, ClaudeBot, PerplexityBot…). Ces requêtes passent par un service de rendu tiers, avec les User-Agents de ces robots : elles ne viennent donc pas de notre adresse IP.

Combien de requêtes

~25

requêtes par audit, en quelques secondes

requêtes en parallèle, au maximum

250 ms

au moins, entre deux requêtes vers des fichiers qui peuvent ne pas exister

1×

chaque URL n'est demandée qu'une fois par audit

L'audit cherche des fichiers que beaucoup de sites n'ont pas encore : /.well-known/*, llms.txt, AGENTS.md… Ces requêtes partent une par une, et une douzaine peuvent répondre 404. C'est normal : ce n'est pas un scan.
Les audits d'un même site sont limités : l'audit public impose un délai entre deux audits, un site ne peut donc pas être audité en boucle.

Autoriser nos robots

Certains outils bannissent une adresse IP après quelques 404 d'affilée, ce que produit justement un audit qui cherche des fichiers /.well-known/. Si vous en utilisez un, autorisez notre adresse. Autoriser par IP est plus fiable que par User-Agent : la plupart de ces outils ne voient que l'IP.

fail2ban

Ajoutez notre adresse à ignoreip dans jail.local, sous [DEFAULT] pour couvrir toutes les jails. Un ignoreip défini dans une jail remplace celui par défaut au lieu de s'y ajouter : dans ce cas, répétez-y l'adresse.

# /etc/fail2ban/jail.local
[DEFAULT]
ignoreip = 127.0.0.1/8 ::1 34.53.138.166

Rechargez, et levez un bannissement déjà en place :

sudo fail2ban-client reload
sudo fail2ban-client unban 34.53.138.166

Préférez ignoreip à un ignoreregex sur notre User-Agent : la plupart des jails (dont apache-botsearch) lisent des lignes de log qui ne contiennent pas le User-Agent, et l'expression ne correspond jamais.

CrowdSec

À partir de CrowdSec 1.6.8, ajoutez notre adresse à une allowlist. C'est immédiat :

sudo cscli allowlists create globetrotters -d "Globetrotters robots"
sudo cscli allowlists add globetrotters 34.53.138.166 -d "https://globetrotters.ai/bot"

Sur les versions antérieures, utilisez une whitelist de parser :

# /etc/crowdsec/parsers/s02-enrich/globetrotters-whitelist.yaml
name: globetrotters/whitelist
description: "Globetrotters robots - https://globetrotters.ai/bot"
whitelist:
  reason: "Globetrotters robots"
  ip:
    - "34.53.138.166"

Puis rechargez, et supprimez une décision déjà en place :

sudo systemctl reload crowdsec
sudo cscli decisions delete --ip 34.53.138.166

Apache 2.4

Avec ModSecurity, désactivez le moteur de règles pour notre adresse. Placez la règle avant le chargement de vos règles (avec l'OWASP CRS, dans REQUEST-900-EXCLUSION-RULES-BEFORE-CRS.conf) et choisissez un id libre sur votre serveur :

SecRule REMOTE_ADDR "@ipMatch 34.53.138.166" \
    "id:1000001,phase:1,pass,nolog,ctl:ruleEngine=Off"

Avec mod_evasive, ajoutez-la à la configuration du module :

DOSWhitelist 34.53.138.166

Pour un emplacement restreint par IP, ajoutez-la à côté de vos règles existantes :

<Location "/private">
    <RequireAny>
        Require ip 34.53.138.166
        # ...your existing Require lines
    </RequireAny>
</Location>

nginx

Dans un emplacement restreint par IP, autorisez notre adresse avant le deny :

location /private/ {
    allow 34.53.138.166;
    # ...your existing allow lines
    deny all;
}

Cloudflare

Créez une règle WAF personnalisée (Security → WAF → Custom rules) avec cette expression et l'action Skip, en ignorant les règles personnalisées suivantes, les règles de limitation de débit, les règles gérées et Super Bot Fight Mode :

(ip.src eq 34.53.138.166)

Le Bot Fight Mode du plan Free ne peut pas être contourné par une règle personnalisée. Ajoutez plutôt une IP Access rule pour notre adresse, avec l'action Allow (Security → WAF → Tools).

Contact

Une question sur nos robots, ou une requête que vous ne reconnaissez pas ? Écrivez à contact@globetrotters.ai en indiquant votre domaine et, si possible, une ligne de log.