Quels crawlers IA accèdent à votre site ?
Entrez l'URL de votre site pour vérifier l'accès des crawlers IA.
Gratuit, sans compte ni carte bancaire
Aperçu d'un rapportExempleexemple.fr
7autorisés
3bloqués
ClaudeBot, Google-Extended, CCBot ne peuvent pas lire exemple.fr.
| Robot | Accès | ||
|---|---|---|---|
| GPTBotOpenAI | OpenAI | Entraînement | Autorisé |
| OAI-SearchBotOpenAI | OpenAI | Recherche ChatGPT | Autorisé |
| ChatGPT-UserOpenAI | OpenAI | Navigation à la demande | Autorisé |
| ClaudeBotAnthropic | Anthropic | Entraînement | Bloqué |
| Claude-UserAnthropic | Anthropic | Navigation à la demande | Autorisé |
| PerplexityBotPerplexity | Perplexity | Recherche | Autorisé |
| Google-ExtendedGoogle | Gemini | Bloqué | |
| Applebot-ExtendedApple | Apple | Apple Intelligence | Autorisé |
| CCBotCommon Crawl | Common Crawl | Corpus ouvert | Bloqué |
| BingbotMicrosoft | Microsoft | Copilot, Bing | Autorisé |
User-agent: *Allow: / User-agent: ClaudeBotDisallow: / User-agent: Google-ExtendedDisallow: / User-agent: CCBotDisallow: / Sitemap: https://exemple.fr/sitemap.xmlEn rouge, les règles qui bloquent un robot IA.
L'IA cite-t-elle votre site ?
Autoriser les crawlers n'est que la première étape. Lancez un audit gratuit pour voir si ChatGPT et Gemini recommandent réellement votre site.
Pourquoi est-ce important ?
Les assistants IA comme ChatGPT, Claude et Perplexity utilisent des crawlers pour lire votre site. S'ils sont bloqués dans votre robots.txt, votre site reste invisible dans leurs réponses.
Ce test lit votre robots.txt et indique, crawler par crawler, lesquels sont autorisés ou bloqués.
Questions fréquentes sur les crawlers IA
Une autre question ? Écrivez-nous
Un crawler IA est un robot que les assistants IA utilisent pour lire les pages web, comme GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot et Google-Extended. Si un crawler accède à votre site, l'IA derrière peut lire et citer votre contenu.
Collez votre domaine dans ce vérificateur. Il lit votre robots.txt et indique, crawler par crawler, lesquels sont autorisés ou bloqués, dont GPTBot, ClaudeBot, PerplexityBot et Google-Extended.
Pour apparaître dans ChatGPT, Claude, Perplexity et les AI Overviews de Google, autorisez leurs crawlers. Les bloquer exclut votre contenu des réponses IA. Ne bloquez que ce que vous ne voulez pas voir utilisé par l'IA.
Bloquer GPTBot empêche OpenAI de crawler votre site, ce qui réduit vos chances d'être cité dans ChatGPT. Pour rester visible, autorisez GPTBot, OAI-SearchBot et ChatGPT-User.
Ajoutez une règle User-agent pour chaque crawler IA (ou User-agent: *) sans Disallow sur vos pages clés, par exemple User-agent: GPTBot puis Allow: /. Relancez ce vérificateur pour confirmer.