Le fichier robots.txt fait partie du quotidien du site web depuis 1994. Au départ c’était une initiative de Martijn Koster. Et c’est devenu un standard de fait. Au fil des ans, les propriétaires de site ont pris de mauvaises habitudes … Lire la suite de Tip : attention au contenu du robots.txt