Comme vous le savez (ou pas), on peut donner des instructions aux robots/crawlers via l’élément <meta name= »robots » content= »… » />, mais aussi via l’en-tête HTTP X-Robots-Tag. L’élément meta robot est bien souvent géré directement via les CMS, et paramétrable pour les différents types de pages de vos sites. Mais pour gérer plus rapidement certaines URL avec des paramètres spécifiques dans les URL, il est plus simple de passer via la configuration d’Apache ou PHP pour forcer des en-têtes X-Robot-Tag, sans intervenir dans le CMS. (ex: X-Robots-Tag : noindex pour les URL qui contiennent ?order=)
Mais une question se pose… Si on a des directives contradictoires entre les meta robots et l’en-tête X-Robots-Tag, qui remporte? Une implémentation a-t-elle le dessus sur l’autre? J’ai donc fait un petit test pour vérifier tout ça.
X-Robots-Tag versus meta robots
Le test est on ne peut plus simple. Deux pages Web bien distinctes ont été crées:
Page 1: http://www.yapasdequoi.com/blog/noindex-metarobots.html
Element meta: <meta name= »robots » content= »noindex« >
En-tête X-Robots-Tag: index
Page 2: http://www.yapasdequoi.com/blog/noindex-xrobots.html
Element meta: <meta name= »robots » content= »index« >
En-tête X-Robots-Tag: noindex
(trop beautiful le texte violet)
J’ai ensuite :
– placé des liens vers ces pages sur plusieurs autres pages de ce site.
– mis au four Thermostat 6-7 pendant plusieurs semaines
– laissé refroidir
– dégusté
And the winner is…
Aucune des deux méthodes d’intégration n’a le dessus sur l’autre entre la meta robots et l’en-tête X-Robots-Tag. C’est plutôt une valeur qui l’a emporté sur l’autre: pas une seule de mes deux pages de test n’a été indexée.
Conclusion:Le noindex a le pouvoir, il l’emporte sur la valeur index. Voilà, ça c’est fait. C’est le « no » le + fort… C’est toujours bon à savoir 😉
[mode tricky]censuré… :-)[/mode tricky]
Le mode tricky n’est pas une bonne idée, tout tes lecteurs ne sont pas forcément honnêtes… 😉
tu as raison, c’est censuré maintenant 😉
Salut, Aymeric!
Encore un petit mythe SEO battu:)
Dans mon champ d’intervention j’utilise surtout la meta robots, car Yandex ne prend pas en compte X-Robots-Tag. Donc +1 en faveur de la meta robots:)
Un fonctionnement assez logique !
As-tu pu observer une différence de comportement de Gbot dans les logs selon la méthode utilisée ?
ah, je n’ai pas regardé. je jetterais un oeil (si rotatelogs a bien fait son travail!)
Cela fait plaisir de constater que Google sait nous écouter parfois. Surtout quand la tendance est au ménage, il ne faut pas le pousser trop fort pour désindexer des pages ces derniers temps 😉