Modifier le fichier robots.txt dans WordPress

Créer, optimiser et modifier le fichier robots.txt

Comment modifier ou créer un fichier robots.txt dans votre répertoire WordPress afin d’aider GoogleBot à parcourir votre site ? Optimiser pour WordPress votre fichier robots ?

Dans ce tutoriel nous allons voir comment créer et/ou modifier votre fichier robot.txt dans votre répertoire WordPress. Le processus n’est pas difficile à réaliser (la preuve je l’ai fait !). Vous n’avez pas besoin d’ajouter de plugin supplémentaire à votre WordPress pour réaliser ce tuto.

À savoir :

D’origine WordPress ne crée pas de fichier robots.txt dans son répertoire. C’est pourquoi certains webmasters utilisent des extensions/plugins pour y remédier. Mais cela n’est pas la bonne solution à mon goût. Je vais vous montrer comment ajouter manuellement votre fichier Robots à la source de votre répertoire WordPress facilement.

Pour les néophytes : le fichier sitemap.xml ne remplace pas votre Robots.txt.

Tutoriel WordPress pour le fichier Robots.txt 

Wordpress tutoriel

Créer ou modifier votre robots.txt :

Connectez-vous à l’administration de GoogleWebmaster (pour votre site web.). Cliquez dans le menu de gauche, sur l’onglet : Exploration > puis > Outil de test du fichier robots.txt.

Ici, vous allez trouver votre fichier Robot. Il est aussi en général placé sur votre site à cet emplacement : www.monsite.com/robots.txt.

Optimisez votre fichier robots.txt :

Votre fichier robots.txt devrait comporter au minimum les lignes ci-dessous. Selon vos besoins vous allez adapter votre fichier Robots, mais si vous voulez rester dans quelque chose de très simple ajouter seulement les lignes suivantes :

User-agent: *

Disallow: /wp-admin/

Allow: /*.js$

Allow: /*.css$

Sitemap: http://www.monsite.com/sitemap.xml

Exemple :

Tutoriel fichier robots.Txt


C’est aussi ici que vous pouvez modifier votre fichier robots.txt pour y ajouter tout ce que vous souhaitez.

Envoyer votre fichier robots.txt :

1/ Une fois les lignes ci-dessus ajoutées, cliquez sur envoyé > puis > une nouvelle fenêtre va s’ouvrir. Dans un premier temps, télécharger votre fichier robots.txt mis à jour sur votre bureau.

modifier fichier robots.txt google webmaster
La nouvelle fenêtre

Il vous suffit ensuite de charger votre document Robots.txt (via votre hosteur ou via votre server FTP) dans votre dossier source de votre site. C’est-à-dire avec les fichiers principaux de votre site, à la racine.

2/ Maintenant sur GoogleWebmaster vous allez pouvoir « vérifier la version importée » > et > Consulter la version importée.

Si vous avez bien respecté les consignes, votre fichier robots.txt devrait être modifié à l’adresse : www.monsite.com/robots.txt.

3/ Il ne vous reste plus qu’à passer à l’étape trois sur GoogleWebmaster : « Demander la mise à jour à Google » > et > envoyer.

Pour finir :

Après avoir envoyé le fichier, patienter quelques minutes avant de réactualiser la page Googlewebmaster. Vous n’avez plus qu’à tester votre lien www.monsite.com/robots.txt avec GoogleBot. Si tout est OK vous allez être notifié par un « autoriser ».

Exemple :

tutoriel fichier robots.txt via googlewebmaster

Et voilà, vous venez de créer votre fichier robots.txt pour WordPress. Si vous avez des suggestions, n’hésitez pas à laisser un commentaire ?

Articles similaires

2 thoughts on “Modifier le fichier robots.txt dans WordPress”

  1. Merci beaucoup pour cet article. J’ai par contre eu un peu de mal à trouver la racine de mon site.
    Pour ceux qui le cherche comme moi, il s’agit du fichier www. dans FileZilla.
    Merci beaucoup c’est super bien expliqué.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *