Il arrive qu’une ou plusieurs pages d’un site internet n’apportent que peu d’intérêt pour l’utilisateur et le moteur de recherche. Très souvent car la qualité de leur contenu est faible.
Bloquer l’indexation de ces pages permet aux internautes de ne plus avoir l’occasion de les voir apparaître sur les pages de résultats de recherche (si leur contenu est de mauvaise qualité, il y a peu de chance que cela arrive mais sait-on jamais) en réponse à une expression de recherche.
Empêcher l’indexation de certaines pages d’un site web permet aussi au moteur de recherche d’économiser du temps d’exploration (crawl budget) et de se concentrer uniquement sur des pages dont le contenu est de plus grande qualité.
Dans cet article, je souhaite vous parler du blocage de l’indexation pour les moteurs de recherche. Je vous expliquerais l’intérêt d’interdire une page web d’être dans l’index et vous donnerais les 2 façons de le faire. A la fin de ce post vous serez en mesure de désindexer une page ou d’envoyer les bonnes directives à vos équipes techniques.
Pourquoi désindexer une page web ?
3 raisons existent pour justifier de bloquer l’indexation d’une page web :
- éviter le contenu dupliqué interne
- mettre de côté des pages qui n’apportent rien à votre référencement naturel
- éviter un préjudice juridique
La règle <noindex>
Le noindex est un groupe de règles représentés sous la forme d’une meta ou d’un en-tête HTTP permettant d’interdire au moteur de recherche l’indexation du contenu d’une page web. Lorsqu’une url affiche un noindex et que le robot d’exploration passe sur cette dernière, il détecte la balise meta noindex ou l’en-tête HTTP et sait que le contenu au sein de la page ne doit pas être indexé. A noter que Google exclura la page explorée de son index même si cette page reçoit des liens internes ou externes.
Empêcher l’indexation du contenu d’une page web.
Vous pouvez appliquer la règle noindex en utilisant :
- une balise <meta>
- un en-tête de réponse HTTP
Vous pouvez également combiner noindex avec d’autres règles qui contrôlent l’indexation. Par exemple, vous pouvez associer un indicateur nofollow avec une règle noindex : <meta name= »robots » content= »noindex, nofollow » />.
Interdire l’indexation d’un contenu avec la balise <meta>
Pour empêcher que le contenu de votre page web ne soit indexé par les moteurs de recherche, il vous suffit de placer la balise <meta> dans la section <head> de votre page.
<meta name= »robots » content= »noindex »>
Pour empêcher un moteur de recherche en particulier d’indexer le contenu de votre page, remplacez “robots” par le nom du robot d’exploration du moteur de recherche de votre choix.
<meta name=”googlebot” content=”noindex”>
Notez que les moteurs de recherche ont leur propre interprétation de la règle noindex. Il se peut que le contenu de votre page reste indexé malgré la présence de la balise meta <noindex>. Ce qui veut dire que son contenu est affiché dans les pages de résultats de recherche.
Interdire l’indexation d’un contenu avec l’en-tête HTTP
L’en-tête de réponse HTTP X-robot-tag est l’alternative à la balise meta <noindex>. Cet en-tête HTTP peut contenir la valeur noindex ou none dans sa réponse. Le X-robot-tag peut être utilisé pour d’autres types de ressources que des pages HTML. Ainsi l’en-tête de réponse HTTP X-robot-tag peut êtr utilisé pour interdire l’indexation de fichiers PDF. vidéos et fichiers image.
Voici un exemple de réponse HTTP contenant la règle X-robot-tag :
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)
Interdire l’indexation d’une page n’est pas très compliquée. Il est cependant judicieux de bien réfléchir aux conséquences d’une désindexation avant de l’appliquer. Je vous rappelle aussi que le noindex n’est considéré comme “actif” qu’à partir du moment où les robots d’exploration des moteurs de recherche visitent votre page.
L’importance de la page – une page web qui se positionne très bien, reçoit du jus de liens et du trafic sera considérée plus importante qu’une page ne recevant aucune visite, ni n’est positionné sur aucun mot-clé – fera que les robots d’exploration passeront rapidement ou non sur votre page.
