Google vient de mettre à jour sa page de support sur Googlebot et l’indexation.
La nouvelle page se trouve ici :
https://developers.google.com/search/docs/advanced/crawling/googlebot
On y découvre une nouvelle limite de taille officielle au delà de laquelle votre contenu ne sera pas indexé : 15 Mégaoctets.
Dans la pratique, cela signifie que si votre page fait plus de 15 Mo, les 15 premiers Mégaoctets du code HTML seront indexés, et la suite sera ignorée.
Il s’agit d’une limite pour le seul code HTML. Les images ne sont pas prises en comptes. Ni les JS, Json, et CSS externes (tout ce qui est inline est compté, a contrario.
15 Mo de code HTML, même décompressé, c’est quand même une très très grosse quantité de code. C’est donc une limite très généreuse.
Cette nouvelle limite officielle n’aura pas d’impact pour l’immense majorité des propriétaires de site.
Historique de cette limite de taille de page
Au départ, cette limite était de 100ko
En 2010 cette limite a été relevée à 256 ko
En 2015, elle est passée à 10 Mo.
Update du 28 juin – Gary Illyes donne plus d’informations sur cette limite de 15 Mo ici :
https://developers.google.com/search/blog/2022/06/googlebot-15mb