Nous avions déjà évoqué l’initiative de Google pour remplacer le robots.txt par autre chose afin de piloter quels contenus peuvent être accessibles aux outils d’IA. Il semble que les équipes de Google n’aient pas voulu attendre la fin des discussions …
Ce tutoriel reprend la méthodologie développée dans cet article https://www.screamingfrog.co.uk/how-to-compare-crawls/. On vous explique comment comparer les crawls à l’aide de Screaming Frog SEO Spider en français et comment analyser les différences entre les deux crawls quand on choisit ou non le mode de crawl JavaScript. La …
Fabrice Canel de Bing vient d’annoncer le lancement d’une extension IndexNow pour WordPress. Les utilisateurs du CMS le plus populaire disposent donc désormais d’un outil qui facilite la découverte des urls du site par les moteurs qui participent au projet …
Sujet relativement technique, l’analyse des logs permet de comprendre comment Google perçoit et crawl votre site. Au contraire d’autres crawler comme le célèbre Screaming Frog qui ne fait qu’imiter Googlebot, l’analyse des logs serveurs permet de savoir exactement quel est …
Chez Google on continue à faire évoluer les rapports de la Google Search Console, et chaque semaine apporte son lot de nouveautés sans que cela soit obligatoirement signalé. La dernière modification en date à donné des fausses joies à certains …
Google vient de publier une page d’aide très riche et plutôt bien faite pour aider les sites comportant un grand nombre de pages de mieux gérer leur budget de crawl. Ces recommandations, nombreuses et détaillées, confirment les conseils que les …
Cela fait déjà quelques années que l’on soupçonnait Google d’utiliser des techniques pour « prédire » l’intérêt d’une page avant de la crawler. Martin Splitt de Google vient dans une video de confirmer que Google avait entrepris d’utiliser du machine learning pour …