Définition de NoIndex :
NoIndex est un terme utilisé en SEO pour indiquer aux moteurs de recherche qu’ils ne doivent pas indexer une page web. Ce signal s’indique soit au travers de la balise meta robots, soit dans le fichier robots.txt.
On désire parfois qu’une ou plusieurs de nos pages web ne soit pas indexée par les moteurs de recherche. C’est à ce moment-là que le Noindex entre en lice. Voici comment le mettre en œuvre…
Une page web, dans un site, peut ne pas avoir d’intérêt à être indexée par les moteurs de recherche et donc à apparaitre dans les SERP. Soit parce qu’elle n’a pas assez de contenu, soit parce que celui-ci n’a pas vocation à être trouvé sur Google ou Bing (cas des fichiers PDF par exemple), soit en cas de duplicate content, etc.
Dans ce cas, on va utiliser la balise meta robots à intégrer dans l’en-tête des pages à indexer, sous cette forme :
<meta name= »robots » content= »X,Y »>
Où :
X = « index » (le robot doit indexer la page) ou « noindex » (le robot ne doit pas indexer la page) ;
Y = « follow » (le robot doit suivre les liens de la page pour trouver d’autres documents) ou « nofollow » (le robot ne suit pas les liens de la page).
On aura donc ces deux possibilités pour une page à désindexer :
<meta name= »robots » content= »noindex,follow »>
ou :
<meta name= »robots » content= »noindex,nofollow »>
Le robot du moteur, lorsqu’il va lire la mention « noindex » dans cette balise au crawl de la page, comprendra qu’il ne doit pas indexer celle-ci.
Notons qu’il est également possible d’utiliser la directive Noindex: dans le fichier robots.txt, mais cette directive, si elle est bien prise en compte par Google, n’est pas supportée officiellement par le moteur et on ne connait donc pas sa durée de vie ou sa pérennité.
Exemple d’intégration de la balise meta robots dans un code HTML (source). |
Voici également quelques liens pour aller plus loin sur le sujet :
- What should NOINDEX do? (Matt Cutts)
- Comment désindexer un contenu ? (étude) (Abondance)
- Google teste la directive « Noindex » dans les fichiers robots.txt (Abondance)
- Plaidoyer pour une nouvelle directive Noindex: dans le robots.txt (Abondance)
Et 2 vidéos de Matt Cutts et Abondance qui vous en disent un peu plus sur la façon dont fonctionnent les robots des moteurs, la balise meta robots et le noindex :
Spiders, Robots, Crawlers : comment ça marche ? (Abondance)
When would someone use « noindex, follow » in a robots meta tag? (Google, Matt Cutts)
Sur le site « blog.google » le blog officiel de Google
Leur robots.txt ne contient que 2 lignes: une pour la déclaration de sitemap.cml et une autre pour disallow les pages générées par les recherches internes
Google ne semble pas utiliser ce fichier pour faire du désindexage