Quels crawlers IA accèdent à votre site ?

Votre robots.txt bloque peut-être ChatGPT, Claude ou Perplexity sans que vous le sachiez.
Site web

Entrez l'URL de votre site pour vérifier l'accès des crawlers IA.

Gratuit, sans compte ni carte bancaire

Aperçu d'un rapportExempleexemple.fr

7autorisés

3bloqués

ClaudeBot, Google-Extended, CCBot ne peuvent pas lire exemple.fr.

Accès des robots IA à exemple.fr
RobotAccès
GPTBotOpenAIAutorisé
OAI-SearchBotOpenAIAutorisé
ChatGPT-UserOpenAIAutorisé
ClaudeBotAnthropicBloqué
Claude-UserAnthropicAutorisé
PerplexityBotPerplexityAutorisé
Google-ExtendedGoogleBloqué
Applebot-ExtendedAppleAutorisé
CCBotCommon CrawlBloqué
BingbotMicrosoftAutorisé
exemple.fr/robots.txt
User-agent: *Allow: / User-agent: ClaudeBotDisallow: / User-agent: Google-ExtendedDisallow: / User-agent: CCBotDisallow: / Sitemap: https://exemple.fr/sitemap.xml

En rouge, les règles qui bloquent un robot IA.

L'IA cite-t-elle votre site ?

Autoriser les crawlers n'est que la première étape. Lancez un audit gratuit pour voir si ChatGPT et Gemini recommandent réellement votre site.

Lancer l'audit gratuit

Pourquoi est-ce important ?

Les assistants IA comme ChatGPT, Claude et Perplexity utilisent des crawlers pour lire votre site. S'ils sont bloqués dans votre robots.txt, votre site reste invisible dans leurs réponses.

Ce test lit votre robots.txt et indique, crawler par crawler, lesquels sont autorisés ou bloqués.

Questions fréquentes sur les crawlers IA

Une autre question ? Écrivez-nous

  • Un crawler IA est un robot que les assistants IA utilisent pour lire les pages web, comme GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot et Google-Extended. Si un crawler accède à votre site, l'IA derrière peut lire et citer votre contenu.

  • Collez votre domaine dans ce vérificateur. Il lit votre robots.txt et indique, crawler par crawler, lesquels sont autorisés ou bloqués, dont GPTBot, ClaudeBot, PerplexityBot et Google-Extended.

  • Pour apparaître dans ChatGPT, Claude, Perplexity et les AI Overviews de Google, autorisez leurs crawlers. Les bloquer exclut votre contenu des réponses IA. Ne bloquez que ce que vous ne voulez pas voir utilisé par l'IA.

  • Bloquer GPTBot empêche OpenAI de crawler votre site, ce qui réduit vos chances d'être cité dans ChatGPT. Pour rester visible, autorisez GPTBot, OAI-SearchBot et ChatGPT-User.

  • Ajoutez une règle User-agent pour chaque crawler IA (ou User-agent: *) sans Disallow sur vos pages clés, par exemple User-agent: GPTBot puis Allow: /. Relancez ce vérificateur pour confirmer.

Vos clients demandent aux IA. Soyez la réponse.

Branchez vos outils de visibilité. Hikoo fait le travail, vous gardez la main sur ce qui part.