Pour chaque crawler majeur, testez ce que votre serveur livre :
# OpenAI curl -s -A "Mozilla/5.0 (compatible; GPTBot/1.1)" https://votre-site.com | wc -c # Anthropic curl -s -A "Mozilla/5.0 (compatible; ClaudeBot/1.0)" https://votre-site.com | wc -c # Perplexity curl -s -A "Mozilla/5.0 (compatible; PerplexityBot/1.0)" https://votre-site.com | wc -c # Google-Extended (Gemini / AI Overviews) curl -s -A "Mozilla/5.0 (compatible; Google-Extended)" https://votre-site.com | wc -c
Ce qu'il faut relever : code HTTP (200 attendu, pas de 403/308 non suivi), taille du contenu, mots extractibles après suppression des balises, présence des schémas JSON-LD dans le HTML brut.
| Résultat | Diagnostic | Action prioritaire |
|---|---|---|
| 200 + plus de 500 mots | Extraction OK | Passer aux étapes 2 et 3 |
| 200 + moins de 200 mots | CSR : contenu derrière JavaScript | Prérendu statique avant tout le reste |
| 403 ou challenge anti-bot | Blocage WAF des crawlers IA | Liste blanche des User-Agents IA dans le WAF |
| Redirection non suivie (308) | Configuration apex→www mal gérée | Suivi des redirections côté crawler, ou canonical cohérent |
Listez 10 à 20 requêtes que vos prospects posent réellement, réparties en quatre familles :
Ce panel devient votre instrument de mesure fixe : ne le modifiez pas entre deux audits, sinon vous perdez la comparabilité.
Mensuellement, posez chaque requête du panel à ChatGPT, Perplexity et Gemini (comptes neutres, historique vidé) et enregistrez :
| Mesure vérifiable | Mesure déclarative (méfiance) |
|---|---|
| Mots extractibles au crawl User-Agent réel | « Score IA » sans méthode publiée |
| Présence de JSON-LD valide dans le HTML servi | Classement « optimisé pour IA » auto-attribué |
| Citations comptées sur panel fixe, dates et captures | Estimations de trafic IA sans source de données |
Face à un prestataire ou un outil, demandez systématiquement la méthodologie. Si elle n'est ni publiée ni reproductible, la mesure ne vaut rien.
L'audit tryx402 applique exactement cette méthode : crawl réel, panel sectoriel, écarts chiffrés, plan de correction.
Auditer mon site Corriger l'extraction d'abord