25

Supprimer une liste d’URL de l’index Google avec IMacros

Posted on by Aymeric

url-removalIl est parfois nécessaire de supprimer des URL indexées malgré vous par GoogleBot pour faire le ménage dans l’index de Google. Cela est possible (entre autres) dans Google Webmasters Tools via le formulaire de demande de suppression d’URL.
Quand il s’agit de supprimer les URL d’un répertoire précis, c’est faisable dans l’interface de GWT directement (supprimer le dossier /perso/ et les URL qu’il contient) mais pour des URL provenant de différents répertoires, c’est une par une qu’il faut les supprimer…

Voici une petite astuce qui vient de l’ami @betrash_seo, un boss d’Imacros pour supprimer de manière massive des URL’s de l’index Google.

Cet article est essentiellement destiné aux débutants d’Imacros: il s’agit d’un exemple afin que vous preniez en main ce module d’automatisation sous Firefox/Chrome (disponible ici https://addons.mozilla.org/fr/firefox/addon/imacros-for-firefox/). Après je vous laisse imaginer les possibilités de l’extension…

Préparer le terrain pour Imacros

Il sera d’abord nécessaire de placer toutes les urls à supprimer dans un fichier texte (une URL par ligne) et sans le nom de domaine (http://www.yapasdequoi.com dans mon cas):
Exemple:

monrepertoire/urlasupprimer.html
autrerepertoire/encoreuneurlasupprimer.html
pageaeffacer.html
...

Une fois nos URL ajoutées dans ce fichier (enregistré avec l’extension .csv), il suffira de le placer dans le répertoire Datasources d’Imacos: C:\Users\Aymeric\Documents\iMacros\Datasources\urls-to-remove.csv dans mon cas.

La macro pour supprimer des URL dans GWT

Voici la macro à ajouter au module. Ensuite , connectez vous à votre compte Google Webmasters Tools. Il ne vous reste plus qu’à appuyer sur Play et la magie opère 🙂

N’oubliez pas de changer l’URL de votre site et le nom du fichier CSV dans la Macro.

VERSION BUILD=7401110 RECORDER=FX
TAB T=1
SET !ERRORIGNORE YES
'Changer URL
SET !VAR1 http://www.yapasdequoi.com
CMDLINE !DATASOURCE urls-to-remove.csv
SET !DATASOURCE_COLUMNS 1
SET !LOOP 1
SET !DATASOURCE_LINE {{!LOOP}}
URL GOTO=https://www.google.com/webmasters/tools/url-removal?hl=fr&siteUrl={{!VAR1}}/
TAG POS=2 TYPE=DIV ATTR=TXT:Nouvelle<SP>demande<SP>de<SP>suppression
TAG POS=1 TYPE=INPUT:TEXT FORM=NAME:newremovalform ATTR=ID:urlt CONTENT={{!COL1}}
TAG POS=1 TYPE=INPUT:BUTTON FORM=ID:newremovalform ATTR=NAME:urlt.submitButton&&VALUE:Continuer
TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:the-form ATTR=ID:submit-button

N’oubliez pas non plus que vos URL doivent être en Disallow dans le robots.txt pour que la suppression fonctionne correctement.
Merci à Benjamin du site BetrashSEO pour cette astuce. Il a peu de temps pour écrire sur son blog mais ses posts sont de qualité! Vous n’avez plus qu’à le suivre sur Twitter —> @betrash_seo

Aymeric

More Posts Twitter

25 commentaires

  1. une technique que je vais garder afin de l’utiliser quand ce sera vraiment nécessaire. Merci à toi et à BetrashSEO, je suis son blog aussi.

  2. Belle combine !! Merci

    Mais ne faut-il pas que l’accès aux urls à supprimer soit bloqué par robots.txt et qu’elles renvoient un code 404 ou 410 pour que Google traite les suppressions ?

    Db

    • De rien. Oui pour le robots.txt (je viens de mettre l’article à jour) mais pas besoin de 404 ou 410 si la suppression est lancée via Google Webmasters Tools.

      • ok merci pour la précision. Et avec 50 000 urls à supprimer par exemple c’est pas gênant un robots.txt de cette taille ?

  3. Petite astuce très pratique en effet, t’es obligé de passer ce type d’astuce sinon ça devient vraiment galère quand t’as des milliers d’url à supprimer …

  4. Je suis Gasy et j’approuve ce message.

    Imacro je ne l’utilise pas et je pense de plus en plus à corriger cette immense coquille dans ma culture automatisation, passion et action.

    Comme quoi, yapasdequoi.com, c’est un bon blog.

  5. Je cherchais justement à supprimer plus de 400 url depuis mon compte GWT pour le site d’un client. Voilà qui va grandement me faciliter la tache. Un grand merci pour l’astuce !

  6. Merci beaucoup pour l’astuce, je vais enfin pouvoir automatiser mes suppressions en masse 🙂

  7. On est jamais déçu sur ce blog, toujours des bonnes idées, si le concept est excellent
    comme d’habiude, j’avoue qu’avec GG j’hésite un peu à franchir le pas pour effacer des urls
    de cette manière !

  8. Bonne astuce simple à réaliser mais comme pour tout fallai y pensé !!
    J’aime ces automatisation intelligente qui font gagner du temps et de l’argent dans une stratégie d’optimisation seo qui deviens de plus en plus ardue, et c’est tant mieux 😉

  9. Ça roule 😉
    En fait, chez moi ça plante quand j’ai une virgule dans l’url. J’avais récupéré un vieux domaine et j’ai des urls du type :
    /index.php/component/option,com_jcalpro/Itemid,47/

    Du coup, ça saute.
    Mise à part ce petit soucis, ça fonctionne du tonnerre. Merci à vous deux (Aymeric et Benjamin)

  10. Excellent le tip! J’ imagine qu’il n’y a pas moyen de faire la même chose avec des sous-domaines?

  11. Il y a quelques jours j’ai vu passer cet article et je me suis dit, pffff, c’est nul, ca sert à rien.
    Hier un client m’a demandé de faire supprimer plusieurs centaines d’urls.

    Merci Y’a pas de quoi 😉

  12. Merci pour l’information, je ne connaissais pas cette technique et ça peut être bien utile dans certains cas =)

  13. ça peut être pratique, mais faut encore vouloir supprimer des URLs de Google. Bon article, je bookmark le site 😉

  14. Bonjour,

    voici ce que me dit GWT quand je lance la macro, est-ce normal ?

     » Supprimer le site : http://www.andeo-shop.com/

    Cette opération aura pour effet de supprimer toutes les instances de http://www.andeo-shop.com/ dans les résultats de recherche Google.
    Pour que sa suppression soit définitive, le contenu doit être bloqué par un fichier robots.txt « 

    • Oui, c’est normal. Afin qu’il puisse effectuer la suppression, les pages HTML doivent être en Disallow dans le robots.txt. Il faut qu’il y ait une cohérence entre le robots.txt et ce que tu lui indiques de supprimer de son index via l’outil de Google Webmasters Tools. Un simple ajout de la liste d’URL à supprimer avec « Disallow:  » devant chacune d’entre elle suffira!

      • Donc dans mon fichier CSV j’ajoute devant chaque url la mention Disallow: ?
        Faut-il un espace entre le : et l’url ?

        • Oui il faut un espace, sous cette forme:

          Disallow: /ton-url-1
          Disallow: /ton-url-2

          etc…

          Enfin ça doit peut être marcher sans.

  16. Voilà, j’ai fait mon fichier csv avec toutes les centaines d’urls à supprimer, j’ai suivi la méthode à appliquer et quand je mets play une fois connecté à mon compte GA, il me dit que l’url de mon site sera tout simplement supprimé de google alors que ce n’est pas mon url de base que je veux supprimer mais toutes les adresses se trouvant dans mon fichier csv, est-ce normal ? je trouve ceci bizarre
    Outils pour les webmasters
    La page http://www.andeo-shop.com/ a été ajoutée à la liste des URL à supprimer.

    Tableau de bord
    Messages
    Sitemaps
    URL à supprimer
    Améliorations HTML
    Mots clés de contenu
    Données structurées
    Autres ressources

    Obtenir de l’aide :
    Réintégration de contenu dans les résultats de recherche
    Exclure vos informations personnelles de Google
    Centre d’aide
    URL à supprimer
    Utilisez robots.txt pour définir la manière dont les moteurs de recherche doivent explorer votre site, ou demandez la suppression d’URL des résultats de recherche de Google. (Avez-vous consulté nos exigences en matière de suppression ?) Seuls les propriétaires de sites et les utilisateurs disposant de toutes les autorisations peuvent demander des suppressions.

    Voici ce que je vois sur GA

    Afficher :
    URL État Type de suppression Demandée
    http://www.andeo-shop.com/

    En cours de traitement
    Suppression de site 12 oct. 2012

    • Il doit y avoir un problème dans ton fichier CSV, quand tu joues la macro a quel moment insère-il uniquement un slash dans le champ de saisie?
      Tel que tu décris ton problème, il vaut mieux stopper l’opération car c’est ton site qui risque de sauter de l’index…!

  17. voici mon code

    TAB T=1
    SET !ERRORIGNORE YES
    ‘Changer URL
    SET !VAR1 http://www.andeo-shop.com
    CMDLINE !DATASOURCE orderby2.csv
    SET !LOOP 1
    SET !DATASOURCE_LINE {{!LOOP}}
    URL GOTO=https://www.google.com/webmasters/tools/url-removal?hl=fr&siteUrl={{!VAR1}}/
    TAG POS=2 TYPE=DIV ATTR=TXT:Nouvelledemandedesuppression
    TAG POS=1 TYPE=INPUT:TEXT FORM=NAME:newremovalform ATTR=ID:urlt CONTENT={{!COL1}}
    TAG POS=1 TYPE=INPUT:BUTTON FORM=ID:newremovalform ATTR=NAME:urlt.submitButton&&VALUE:Continuer
    TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:the-form ATTR=ID:submit-button

    • Et ton fichier CSV ne contient pas l’URL racine? Je pense que la meilleure solution est de ré-enregistrer la macro pour une URL profonde et d’ajouter l’appel du CSV par la suite.

  18. Je n’étais pas au courant de cette technique, c’est à noter dans ses tablettes.
    Merci pour le tuyau 😉

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *