Tous les outils gratuits

Quels crawlers IA accèdent à votre site ?

Votre robots.txt bloque peut-être ChatGPT, Claude ou Perplexity sans que vous le sachiez.

Site web

Entrez l'URL de votre site pour vérifier l'accès des crawlers IA

Pourquoi est-ce important ?

Les assistants IA comme ChatGPT, Claude et Perplexity utilisent des crawlers pour lire votre site. S'ils sont bloqués dans votre robots.txt, votre site reste invisible dans leurs réponses.

Ce test lit votre robots.txt et indique, crawler par crawler, lesquels sont autorisés ou bloqués.

Entrez une URL pour vérifier l'accès des crawlers IA

L'IA cite-t-elle votre site ?

Autoriser les crawlers n'est que la première étape. Lancez un audit gratuit pour voir si ChatGPT et Gemini recommandent réellement votre site.

Lancer l'audit gratuit

FAQ crawlers IA

Qu'est-ce qu'un crawler IA ?

Un crawler IA est un robot que les assistants IA utilisent pour lire les pages web, comme GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot et Google-Extended. Si un crawler accède à votre site, l'IA derrière peut lire et citer votre contenu.

Comment savoir si mon robots.txt bloque les crawlers IA ?

Collez votre domaine dans ce vérificateur. Il lit votre robots.txt et indique, crawler par crawler, lesquels sont autorisés ou bloqués, dont GPTBot, ClaudeBot, PerplexityBot et Google-Extended.

Faut-il autoriser ou bloquer les crawlers IA ?

Pour apparaître dans ChatGPT, Claude, Perplexity et les AI Overviews de Google, autorisez leurs crawlers. Les bloquer exclut votre contenu des réponses IA. Ne bloquez que ce que vous ne voulez pas voir utilisé par l'IA.

Bloquer GPTBot me retire-t-il de ChatGPT ?

Bloquer GPTBot empêche OpenAI de crawler votre site, ce qui réduit vos chances d'être cité dans ChatGPT. Pour rester visible, autorisez GPTBot, OAI-SearchBot et ChatGPT-User.

Comment autoriser les crawlers IA dans robots.txt ?

Ajoutez une règle User-agent pour chaque crawler IA (ou User-agent: *) sans Disallow sur vos pages clés, par exemple User-agent: GPTBot puis Allow: /. Relancez ce vérificateur pour confirmer.

Réservez une démo personnalisée

Découvrez comment Hikoo peut booster votre visibilité sur les moteurs de recherche IA.