Un site peut sembler parfaitement propre lorsqu’on le parcourt page après page. Pourtant, sous le capot, il arrive qu’il cache des URL introuvables, des redirections en chaîne ou des pages importantes que Google ne visite presque jamais. C’est là qu’un crawl devient utile : il permet de regarder son site avec les yeux d’un robot de moteur de recherche.
La bonne nouvelle, c’est qu’il n’est pas nécessaire de porter une combinaison de technicien SEO pour s’y mettre. Avec une méthode claire, un outil adapté et un peu de bon sens, vous pouvez repérer les problèmes qui freinent votre visibilité et décider quoi corriger en priorité. Voici comment réaliser un crawl efficace, sans vous noyer dans un tableau de 12 000 lignes.
Le crawl SEO, c’est quoi exactement ?
Un crawl consiste à explorer les pages d’un site en suivant les liens, un peu comme le ferait Googlebot. Un outil de crawl analyse les URL qu’il découvre et collecte différentes données : codes HTTP, balises title, directives d’indexation, liens internes, profondeur des pages ou encore présence de contenu.
Imaginez un facteur qui doit livrer le courrier dans une ville. Il suit les rues et les indications disponibles, mais il ne peut pas atteindre une maison cachée derrière une impasse sans panneau. Sur un site, les liens internes jouent souvent le rôle de ces panneaux. Si une page importante n’est reliée à rien, elle risque de rester difficile à découvrir pour les moteurs comme pour vos visiteurs.
Attention : un crawl ne reproduit pas parfaitement le fonctionnement de Google. Il simule une exploration, selon les paramètres de l’outil et les consignes que vous lui donnez. C’est un excellent diagnostic technique, mais pas une boule de cristal SEO.
Définir un objectif avant de lancer l’exploration
Le réflexe classique consiste à ouvrir un outil, saisir son nom de domaine et cliquer sur « démarrer ». C’est tentant, mais un crawl sans objectif ressemble à une randonnée sans carte : on marche beaucoup et on ne sait pas toujours où l’on va.
Commencez par préciser ce que vous cherchez. Votre site vient-il d’être refondu ? Vos pages stratégiques perdent-elles des positions ? Vous souhaitez vérifier une migration ou nettoyer des URL parasites ? Selon le problème, vous ne regarderez pas les mêmes données.
Vous pouvez notamment lancer un crawl pour :
- repérer les pages en erreur ou redirigées ;
- identifier les pages bloquées à l’indexation ;
- détecter des titres ou des descriptions manquants et dupliqués ;
- analyser le maillage interne et la profondeur des pages ;
- vérifier les liens cassés, les URL canoniques et les directives robots ;
- comparer l’exploration avec le sitemap XML ou les données d’Analytics.
Cette étape permet aussi de choisir le bon périmètre. Pour un petit site vitrine, explorer toutes les pages est généralement simple. Pour un site e-commerce avec des filtres, des variantes et des paramètres d’URL, mieux vaut cadrer le crawl afin d’éviter de générer des milliers d’adresses sans intérêt.
Choisir un outil adapté à son site
Parmi les outils courants, Screaming Frog SEO Spider est apprécié pour ses réglages détaillés et ses rapports exportables. Sitebulb propose une interface visuelle qui aide à comprendre les problèmes détectés. Oncrawl ou Botify peuvent répondre aux besoins de sites plus volumineux, notamment lorsqu’on souhaite croiser crawl, données de trafic et fichiers de logs. Des outils comme Ahrefs ou Semrush offrent également des fonctions d’audit technique.
Le meilleur outil n’est pas forcément le plus cher. Pour commencer, vérifiez surtout qu’il permet de contrôler la vitesse d’exploration, d’exporter les résultats et de configurer le user-agent. Si votre site est volumineux, regardez aussi les limites de crawl, la gestion du JavaScript et la possibilité d’explorer depuis un environnement de préproduction.
Avant de lancer une exploration massive, vérifiez les conditions d’accès et la charge supportée par le serveur. Un crawl réglé trop agressivement peut ralentir un site fragile. On veut aider Google à découvrir vos pages, pas organiser un embouteillage devant votre hébergement.
Configurer le crawl sans oublier les réglages essentiels
La configuration détermine ce que l’outil va voir. Pour un premier audit, explorez généralement les liens internes à partir de la page d’accueil, en utilisant un user-agent de robot de recherche. Comparez ensuite les résultats avec un crawl configuré pour Googlebot, si votre outil le permet. Les deux explorations peuvent révéler des différences liées aux règles d’accès.
Contrôlez notamment les paramètres suivants :
- Le domaine : choisissez la bonne version, avec ou sans www, en HTTPS, et vérifiez les éventuels sous-domaines utiles.
- Le robots.txt : décidez si l’outil doit respecter ses consignes ou si vous réalisez un audit spécifique en les ignorant. Pour un contrôle fidèle de l’exploration, commencez par les respecter.
- La profondeur : laissez l’outil suivre les liens, puis repérez les pages accessibles après de nombreux clics.
- Les paramètres d’URL : évitez de crawler chaque combinaison de filtres ou de tri si ces URL ne présentent pas de valeur SEO distincte.
- La vitesse : adaptez le nombre de requêtes à la capacité du serveur et surveillez les éventuelles erreurs ou lenteurs.
- Le rendu JavaScript : activez-le si des contenus ou des liens essentiels sont générés côté navigateur.
Pour un site de production, je recommande de commencer à vitesse modérée. Lors d’un de mes premiers audits, j’avais lancé un crawl bien trop ambitieux sur un petit serveur : le rapport était complet, mais le site, lui, faisait une sieste forcée. Depuis, je vérifie toujours la charge et je privilégie une exploration progressive.
Analyser les résultats : commencer par les problèmes qui bloquent
Une fois le crawl terminé, ne cherchez pas à corriger chaque ligne dans l’ordre. Certaines alertes sont mineures, d’autres peuvent empêcher l’accès ou l’indexation de pages importantes. Commencez par les problèmes qui touchent vos URL stratégiques.
Les codes HTTP sont un bon point de départ. Une page en 200 répond normalement. Une erreur 404 indique que la ressource n’existe pas, tandis qu’une erreur 5xx signale un problème côté serveur. Une 301 correspond à une redirection permanente ; une 302 est temporaire. Si une page supprimée possède des liens entrants ou un équivalent pertinent, une redirection bien choisie peut préserver une partie de sa valeur. À l’inverse, rediriger toutes les anciennes URL vers la page d’accueil n’est généralement pas une solution élégante : pour l’utilisateur, c’est un peu comme demander une boulangerie et recevoir l’adresse de la mairie.
Repérez aussi les chaînes de redirections. Si l’URL A redirige vers B, qui redirige vers C, simplifiez le parcours lorsque c’est possible. Les redirections inutiles compliquent l’exploration et rallongent le chargement.
Ensuite, examinez les directives d’indexation. Une page peut être accessible au crawl tout en portant une balise « noindex ». Ce n’est pas forcément une erreur : les pages de connexion ou certains résultats de recherche interne n’ont pas toujours vocation à apparaître sur Google. Mais une page produit ou un guide stratégique marqué par accident « noindex » mérite une intervention rapide.
Vérifiez également les URL canoniques. Une balise canonical indique quelle version d’une page doit être considérée comme principale lorsque plusieurs URL présentent un contenu similaire. Elle doit pointer vers une page cohérente, accessible et indexable. Une canonical qui renvoie vers une URL en erreur, par exemple, envoie un signal pour le moins déroutant.
Améliorer les contenus et le maillage interne
Le crawl révèle aussi des problèmes moins spectaculaires, mais importants pour la qualité globale du site. Des balises title absentes, des titres dupliqués ou des descriptions identiques peuvent compliquer la compréhension des pages et réduire l’efficacité de vos résultats dans les moteurs de recherche.
Ces alertes ne signifient pas qu’il faut réécrire chaque balise dans l’urgence. Commencez par les pages qui génèrent du trafic, soutiennent vos conversions ou ciblent vos mots-clés prioritaires. Une page importante avec un title générique mérite plus d’attention qu’une page secondaire peu visitée.
Le maillage interne mérite le même soin. Recherchez les pages dites orphelines, c’est-à-dire absentes du parcours de liens internes détecté par l’outil. Elles peuvent parfois être découvertes via le sitemap, mais rester difficiles à atteindre pour les visiteurs. Ajoutez des liens contextuels depuis des pages pertinentes, avec des ancres descriptives et naturelles.
La profondeur de clic apporte un autre indice. Si une page commerciale essentielle se trouve à six clics de l’accueil, elle est probablement trop enfouie. Cela ne signifie pas que toutes les pages doivent être à un clic — votre menu ne devrait pas ressembler à un tiroir rempli de câbles — mais vos contenus stratégiques doivent être faciles à trouver.
Ne pas confondre alerte automatique et problème SEO
Les outils savent détecter des anomalies, pas toujours comprendre votre stratégie. Une description absente n’est pas nécessairement la cause d’une chute de trafic. Un contenu similaire sur deux pages ne justifie pas automatiquement une suppression. Et une URL bloquée dans le robots.txt n’est pas forcément une erreur si ce blocage est volontaire.
Pour chaque alerte, posez-vous trois questions :
- La page est-elle importante pour les utilisateurs ou pour l’activité du site ?
- Le problème empêche-t-il réellement son exploration, son indexation ou sa compréhension ?
- La correction risque-t-elle de créer un effet secondaire sur d’autres pages ?
Par exemple, supprimer en masse des URL jugées « inutiles » peut casser des liens internes ou faire disparaître des pages qui reçoivent encore du trafic. Avant toute modification, vérifiez les données de Search Console, les visites organiques et les conversions. Le crawl indique où regarder ; les données métier aident à décider quoi faire.
Comparer le crawl au sitemap et aux données de Google
Votre sitemap XML et votre crawl racontent deux histoires différentes. Le sitemap liste les URL que vous souhaitez voir découvrir ou indexer. Le crawl suit les liens accessibles sur le site. En les comparant, vous pouvez repérer des pages présentes dans le sitemap mais impossibles à atteindre par le maillage, ou des URL crawlées qui n’ont rien à faire dans ce fichier.
Vérifiez que le sitemap contient principalement des pages canoniques, indexables et en statut 200. Une URL redirigée, bloquée ou marquée « noindex » n’a généralement pas sa place dans cette liste. De son côté, Google Search Console peut fournir des informations complémentaires sur les pages indexées, les erreurs détectées et les sitemaps soumis.
Pour aller plus loin, les fichiers de logs du serveur permettent d’observer les requêtes réellement effectuées par les robots. Vous pouvez ainsi comparer ce que votre outil est capable de crawler avec ce que Googlebot visite effectivement. Cette analyse est particulièrement utile sur les sites volumineux, où le budget de crawl devient un sujet concret.
Transformer le rapport en plan d’action
Un audit utile ne se termine pas par un export CSV oublié dans un dossier nommé « SEO_final_v3 ». Classez les corrections selon leur impact, leur urgence et la difficulté de mise en œuvre. Une erreur serveur sur des pages clés passe avant l’optimisation d’une description sur une page secondaire.
Vous pouvez répartir les actions en trois niveaux :
- Priorité haute : erreurs 5xx, pages stratégiques bloquées, directives « noindex » involontaires, redirections incorrectes et liens internes vers des pages essentielles en erreur.
- Priorité moyenne : pages trop profondes, titles manquants ou dupliqués sur des contenus importants, sitemaps incohérents.
- Optimisations progressives : améliorations de maillage, nettoyage d’URL secondaires et ajustements de métadonnées à faible impact immédiat.
Attribuez chaque tâche à une personne, définissez une échéance et notez le résultat attendu. Après les corrections, relancez un crawl sur le même périmètre. Cette comparaison permet de vérifier que les problèmes ont bien disparu — et qu’un correctif n’a pas introduit une nouvelle anomalie. Le SEO aime les améliorations, mais il apprécie encore davantage les améliorations mesurées.
À quelle fréquence crawler son site ?
Il n’existe pas de fréquence universelle. Un petit site éditorial stable peut être contrôlé quelques fois par an, tandis qu’un e-commerce qui publie de nouvelles catégories chaque semaine a intérêt à surveiller plus régulièrement ses URL. Prévoyez également un crawl après une refonte, une migration, une modification importante du maillage ou une mise à jour technique majeure.
Pour un suivi efficace, gardez des paramètres comparables d’un crawl à l’autre : même périmètre, réglages similaires et exports datés. Vous pourrez ainsi distinguer les progrès réels des simples différences de configuration.
Un crawl bien mené ne consiste donc pas à collectionner les alertes. Il sert à comprendre comment les robots découvrent vos pages, à repérer les obstacles qui comptent et à organiser les corrections dans le bon ordre. Commencez par vos pages stratégiques, vérifiez les problèmes bloquants, puis avancez étape par étape. Votre site n’a pas besoin d’être parfait pour progresser : il a surtout besoin que ses contenus importants soient accessibles, compréhensibles et reliés entre eux.