Le budget de crawl est souvent considéré par les SEOs comme une quantité relativement figée. Il suffit pourtant de regarder les stats de crawl de n’importe quel site pour se rendre compte que le nombre de pages crawlées par jour évolue considérablement avec le temps.
Et l’une des causes de ce changement de comportement est la détection d’un changement d’hébergement…
La modification de l’infrastructure d’un site (serveurs, adresses IP, etc.) peut modifier la vitesse et la fréquence d’exploration du site par Googlebot.
C’est une information que Gary Illyes a spontanément lâché sur Twitter le 23 novembre 2020.
Concrètement, ce que nous indique Gary c’est que l’ordonnanceur est programmé pour détecter les changements côté infra, qui peuvent avoir un impact sur la quantité d’urls que Googlebot peut crawler. L’ordonnanceur (scheduler en anglais) est le sous programme du crawler qui calcule les scores de priorités de crawl des urls et donc quelles urls doivent être placées dans la file d’attente pour être crawlées.
Source : Oncrawl : https://fr.oncrawl.com/seo-technique/site-web-crawlable/
On trouve plus d’information dans la page d’aide de Google sur les migrations de serveur.
Si Google se rend compte d’un changement de serveur, via un changement dans vos DNS comme un changement d’IP, cela provoquera un ralentissement notable du rythme de crawl. Googlebot reprendre prudemment le crawl de votre site, et en fonction de ce qu’il va observer :
- soit il détecte un hébergement plus « solide », c’est à dire plus rapide à délivrer des pages et capable d’en délivrer beaucoup plus à la minute, dans ce cas on voit souvent un pic de crawl avec un retour à un rythme de crawl plus élevé qu’avant en rythme de croisière
- soit au contraire, la situation s’est dégradée, et dans ce cas, le rythme va retomber à des niveaux moins élevés qu’avant
La page d’aide de Google sur les migrations :
https://developers.google.com/search/docs/advanced/crawling/site-move-no-url-changes?hl=fr
Qu’est-ce que cela implique pour le SEO ?
C’est intéressant de savoir qu’un simple changement d’IP ou dans les DNS peut « réinitialiser » le rythme de crawl et de recrawl de Googlebot. Cela signifie que pour des sites importants, il faut sensibiliser les équipes infra au sujet et leur demander de faire remonter tous ces changements au(x) spécialiste(s) en charge du SEO. Cela vous aidera à ne pas vous tromper quand vous chercherez à interpréter un changement drastique dans les comportements de crawl.
Voir aussi :
https://www.neper.fr/2020/12/03/comment-gerer-le-budget-de-crawl-pour-de-gros-sites/