Tip : attention au contenu du robots.txt
Le fichier robots.txt fait partie du quotidien du site web depuis 1994. Au départ c’était une initiative de Martijn Koster. Et c’est devenu un standard de fait. Au fil des ans, les propriétaires de site ont pris de mauvaises habitudes …