Après l’annonce du User Agent « GoogleOther » le 26 avril dernier, voici que Google annonce encore une nouvelle signature pour l’un de ses bots.
Pour ceux qui auraient raté l’annonce de GoogleOther, nous en avions parlé ici :
Cette fois-ci, il s’agit d’un nouvel User-Agent destiné à identifier les visites de quelques crawlers spécialisés utilisés dans deux outils de test.
- L’outil de test des Rich Results
- et l’outil d’inspection d’url de la Google Search Console
Qu’est-ce que ça change ?
Ces deux outils de test étant utiles, ce n’est pas une bonne idée de les bloquer via une directive du fichier robots.txt
De toute façon, c’est juste la signature « full string » qui change. Le « user agent token » reste le même (Googlebot). Or c’est le token qui est utilisé pour identifier les bots dans les directives du robots.txt. Bref techniquement : vous ne pouvez pas bloquer le crawl de ces outils sans bloquer Googlebot.
Par contre, ce changement n’est pas forcément sans conséquences pour l’outil d’inspection d’url. En effet, si vous aviez un comportement spécifique lors d’une visite de Googlebot, il était (relativement) facile de le détecter avec cet outil.
Maintenant, si vous avez un script qui détecte le User-Agent Googlebot (dans sa version « full string », impossible de le voir avec ce nouveau comportement).
Il faudra donc essayer avec un outil permettant de simuler le User-Agent Googlebot pour détecter un cloaking sur User Agent.
La liste à jour des user-agents des crawlers de Google peut-être trouvée sur cette page :