Vers la fin du robots.txt ?
Un post de Danielle Romain, la VP Trust de Google publié fin août sur le blog The Keyword est passé un peu inaperçu. Mais si Google arrive à ses fins, cela signifie qu’un monument du World Wide Web est appelé …
robots.txt
Peut-on empêcher ChatGPT d’aspirer mon contenu ?
Depuis l’apparition de GPT d’OpenAI, des voix s’élèvent régulièrement pour dénoncer ce qu’ils considèrent comme « un vol de données », quand ce n’est pas une violation du droit d’auteur. On peut comprendre ces réactions quand on voit les IA génératives régurgiter …
Attention à la casse pour les urls crawlables par Googlebot, et surtout avec le robots.txt
Si vous avez l’habitude de travailler sur des OS qui sont stricts à propos des majuscules dans les noms de fichier vous le savez : https://www.domaine.com/Monurl.html est une url différente de : https://www.domaine.com/monurl.html ! Cela signifie que ces deux urls …
Google complète sa documentation sur le standard robots.txt
Pendant très longtemps, Google n’a pas réellement montré le meilleur exemple concernant sa gestion du « standard » robots.txt. Ils ont notamment supporté des fonctionnalités « made in Google » absolument pas supportées par les autres moteurs : comme les caractères joker dans les …
Tip : attention au contenu du robots.txt
Le fichier robots.txt fait partie du quotidien du site web depuis 1994. Au départ c’était une initiative de Martijn Koster. Et c’est devenu un standard de fait. Au fil des ans, les propriétaires de site ont pris de mauvaises habitudes …