<img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=317881211892841&amp;ev=PageView&amp;noscript=1">

Qu'est-ce que le « crawl budget »?

Il arrive fréquemment que Google, par l’intermédiaire de son responsable SEO communique avec les professionnels du web pour leur donner des indications sur la meilleure façon de gérer leurs sites web.

Le « crawl budget » (budget d’exploration) est un des derniers sujets abordé par Google. De quoi s’agit-il ?
Comment optimiser son site pour le rendre plus réactif au « crawl » ?

Tout sur le « crawl »

Le « crawl » d’un site web est l’intervention de Google qui consiste à explorer un site web pour indexer les pages de celui-ci. Pour se faire, Google dispose de robots crawlers appelés « Google Bots » qui vont « copier » les pages de votre site dans son immense base de données pour que celle-ci puissent figurer dans les résultats du moteur. Cette opération a lieu après la mise en ligne du site, puis de manière récurrente, selon une fréquence dépendante de nombreux critères.

Un site facile à crawler est un + pour Google. Pour que le site en question soit le plus rapide possible à parcourir il faut l’optimiser dans son grand ensemble.

Qu’est-ce que le « crawl budget » dans ce cas de figure précis ?
C’est la combinaison de plusieurs facteurs qui rendent l’accès à un site web plus simple et qui permettent de l’indexer plus rapidement.
Quels sont les critères retenus par Google pour faciliter le « crawl » des sites ?

Réduire le temps d’affichage d’un site web

Les préconisations de Google pour faciliter le « crawl » des sites web ne concernent pas tous les webmasters. Seuls les gros sites disposant de milliers d’urls et plus devront se pencher sur une problématique d’optimisation du               « crawl » de leur site web… Pour les autres, Google assure que dans la majorité des cas, l’exploration des sites web se fait correctement (cela ne dispense pas pour autant les plus petits sites d’avoir un site internet rapide en affichage).

La vitesse de chargement des pages d’un site est un des critères les plus importants. Lorsque Google parcourt les pages d’un site, il s’assure de ne pas nuire à l’expérience des internautes qui consultent le site, en ralentissant l’affichage des pages. C’est ce que nous pouvons appeler : « la limite de la vitesse d’exploration » puis, il définit une valeur maximale pour chaque site. Ainsi, un site lourd à charger sera défavorisé selon deux axes :

  • Google risque de diminuer la fréquence du « crawl » et donc d’avoir une version du site pas souvent à jour dans son index.
  • Un site qui met trop de temps pour s’afficher pourra être impacté au niveau de son référencement, Google diminuant la pertinence de celui-ci en termes de positionnement.

nombre pages explorees par jour google crawl budget.png

Des moyens techniques connus des webmasters (allègement du poids des images, exploitation du cache navigateur, fichiers JavaScript exploités à part du code…) permettent de réduire le temps d’affichage d’une page et donc son       « crawl ».

Popularité des pages et contenu éditorial soigné

Avoir un site avec beaucoup de pages populaires et bénéficiant d’un trafic important permet d’avoir une récurrence de « crawl » plus importante. Google à une nette tendance à revenir plus souvent sur ce type de pages à forte popularité pour les avoir à jour dans son index.

De la même manière, des pages présentant des défauts éditoriaux risquent d’être ignorées par les robots de Google, voire même de diminuer la fréquentation d’indexation du moteur.

Trop de pages sans contenu véritable, des pages d’erreur renvoyant un code 404 ou d’autres présentant du contenu dupliqué peuvent ralentir les rotations d’exploration d’un site web.

Un site présentant ce style de pages risque-t-il d’être déconsidéré par Google ?
Une diminution de la fréquence du « crawl » peut-elle entrainer des sanctions SEO ?

Si Google a déjà répondu par la négative, il convient de nuancer sa réponse, car les défauts mis en avant par le moteur pour justifier l’espacement du « crawl » sont tout de même de nature à diminuer la pertinence d’un site côté SEO (trop de pages d’erreur, contenu faible…).

Les statistiques de Google Search Console en matière de « crawl » (fréquence, temps passé sur le site) peuvent constituer une alerte précieuse qui indique une dégradation de la qualité SEO de votre site.

Elles ne doivent pas être négligées et même être surveillées périodiquement pour éviter toute dérive.

Check list SEO

Et sinon ? Vous en pensez quoi ?

Jérémy BRIOT
écrit avec passion par
Jérémy BRIOT

En poste depuis 2014 chez Lounce, Jérémy Briot est en charge du développement de la visibilité et de l'acquisition de trafic. Jérémy est spécialisé dans le référencement naturel et la gestion de campagnes Adwords.

À lire également !

Google AdWords : Et si vous passiez au Smart Display ?

Depuis plusieurs mois, les utilisateurs de Google Adwords peuvent avoir accès à un tout nouveau type de campagne payante d’acquisition de trafic avec le Smart...

Lire l'article

Qu'est-ce que la position zéro dans Google ?

Ce n’est un secret pour personne, le monde du référencement est en éternel mouvement. Google prend un certain plaisir à développer et à améliorer ses...
Lire l'article

Augmentez vos ventes issues du trafic mobile ? 8 astuces à suivre

Il y a quelques mois, les canaux de fréquentation des sites web les plus générateurs de trafic s’inversent : la barrière des plus de 50% de visiteurs arrivant...

Lire l'article

L’importance du netlinking dans une stratégie de référencement

Il est possible de diviser le référencement d’un site web en deux parties au moins aussi importantes l’une que l’autre : l’optimisation éditoriale et la...

Lire l'article