Définition de Balise Meta Robots :
La Balise Meta Robots est une balise HTML, placée dans la partie HEAD d’un code source, et qui donne un certain nombre d’indications aux robots des moteurs au sujet de la prise en compte de la page.
La balise meta « robots » est la plupart du temps essentielle aux robots des moteurs de recherche, car elle va indiquer si ces derniers doivent indexer (ou pas) et suivre les liens (ou pas) de la page. Ainsi que d’autres informations utiles aux spiders…
La Balise Meta Robots donne un certain nombre d’indications aux robots des moteurs qui la crawlent. Placée dans la partie HEAD du code HTML, elle se présente la plupart du temps sous cette forme :
<meta name= »robots » content= »X,Y »>
Où :
X = « index » (le robot doit indexer la page) ou « noindex » (le robot ne doit pas indexer la page) ;
Y = « follow » (le robot doit suivre les liens de la page pour trouver d’autres documents) ou « nofollow » (le robot ne suit pas les liens de la page).
Si la balise n’est pas présente dans la page, cela est équivalent à :
<meta name= »robots » content= »index,follow »>
ou :
<meta name= »robots » content= »all »>
Mais la Balise Meta Robots peut également contenir d’autres informations utiles :
<meta name= »robots » content= »noarchive »> : la version « en cache » de la page ne sera pas disponible.
<meta name= »robots » content= »nosnippet »> : le moteur de recherche n’affichera ni snippet ni featured snippet.
<meta name= »robots » content= »noodp »> : le snippet n’affichera pas de contenu en provenance de l’Open Directory (ODP). Balise obsolète aujourd’hui depuis l’arrêt de cet annuaire en 2017.
<meta name= »robots » content= »noydir »> : le snippet n’affichera pas de contenu en provenance de l’annuaire de Yahoo!. Balise obsolète aujourd’hui depuis l’arrêt de cet annuaire en 2015.
<meta name= »robots » content= »notranslate »> : le contenu de la page ne sera pas traduit par les outils Google.
<meta name= »robots » content= »noimageindex »> : les images de la page ne seront pas indexées.
<meta name= »robots » content= »unavailable_after: [date/time] »> : le contenu de la page sera obsolète une fois passée la date indiquée au format RFC-850.
Les paramètres fournis dans la balise peuvent être indifféremment en minuscules ou en majuscules et dans n’importe quel ordre.
Exemple d’intégration de la balise meta robots dans un code HTML (source). |
Voici également quelques liens pour aller plus loin sur le sujet :
- What should NOINDEX do? (Matt Cutts)
- Balise meta robots (Robots.txt)
- Caractéristiques de l’en-tête HTTP « X-Robots-Tag » et de la balise Meta pour les robots (Google)
- La balise meta robots (Yakaferci)
- Robots Meta Directives (Moz)
Et 2 vidéos de Matt Cutts et Abondance qui vous en disent un peu plus sur la façon dont fonctionnent les robots des moteurs et la balise meta robots :
Spiders, Robots, Crawlers : comment ça marche ? (Abondance)
When would someone use « noindex, follow » in a robots meta tag? (Google, Matt Cutts)