Visibilité-Site : Les fichiers sitemap et robots.txt sont-ils vraiment utiles ?

Afin de référencer un site Internet, deux fichiers sont régulièrement cités par les spécialistes du SEO. Qu'en est-il vraiment ?

Robots.txt : Un fichier pour les gouverner tous

Le fichier Robots.txt permet de préciser à Google quelles pages du site web il doit indexer et par extension, celle qu'il ne doit pas indexer. Les moteurs de recherche consultent donc ce fichier afin de connaître ce qu'ils peuvent ou ne peuvent pas proposer dans les résultats d'un moteur de recherche. Alors est-il vraiment utile ?

Ce qui est sûr, c'est qu'il n'est pas indispensable. Tout d'abord parce qu'il existe d'autres moyens techniques de préciser à un robot s'il doit indexer une page (une balise méta notamment). Mais au delà, la majorité des sites web ont pour objectif d'être référencés par les moteurs de recherche et par défaut, les moteurs sont de vrais gloutons en contenu. Ne pas créer de fichier robots.txt n'est donc pas un problème si votre site est correctement fait.

En revanche, si votre site expose des ressources qui n'ont aucun intérêt pour les moteurs, il faut alors ajouter un tel fichier qui précise cela. C'est particulièrement le cas pour les contenus dupliqués qui sont mal perçus par les moteurs (encore qu'il existe d'autres techniques pour que Google connaisse l'url canonique d'un contenu). C'est aussi le cas pour des fichiers de votre CMS qui sont identiques pour tous les sites faits avec ce CMS ou des fichiers de configuration ou de template qui peuvent être perçus comme du contenu de mauvaise qualité.

Notre conseil est donc d'ajouter un fichier robots.txt si vous utilisez un tel CMS, d'ailleurs certains en proposent un par défaut déjà optimisé. Sinon, si votre site est une véritable perle qualitative conçue pour n'exposer que ce qui est bon pour les moteurs, ne rien faire est la meilleure solution et aussi la plus économique.

On peut cependant ajouter un fichier robots.txt pour des raisons de performance. En effet, si les moteurs ne le trouvent pas, ils le rechercheront plus fréquemment. De plus il existe aussi des extensions pour les navigateurs qui recherchent automatiquement la présence d'un tel fichier à chaque chargement de page. L'ajouter, même vide, peut donc être bénéfique en terme de performance et d'économie de bande passante.

Nous ajoutons des fichiers robots.txt à nos sites pour ces raisons bien qu'il soit commun à tous nos sites.

A savoir : Si vous utilisez Adsense pour monétiser votre site web, vous devrez probablement ajouter à votre fichier robots.txt quelques lignes autorisant l'exploration des contenus que vous ne souhaitez pas voir indexés par les moteurs de recherche :

User-agent: Mediapartners-Google
Disallow:

Sitemap.xml : A la recherche de la page perdue

Le fichier sitemap d'un site est une sorte d'index de toutes les pages de votre site. Ce dernier permet d'exposer des pages qui n'auraient pas été découvertes par Google autrement (dixit la section Google Webmasters réservée aux sitemaps). Il permet également de préciser l'importance de vos pages à l'intérieur de votre site.

Idem, ce dernier n'est pas nécessaire si votre site est bien réalisé. C'est à dire, si le fait de parcourir votre site permet d'une part d'accéder à toutes les pages de ce dernier sans exception, d'autre part, si sa structure permet de déduire facilement l'importance de chacune des pages de votre site.

Cela est possible grâce à une arborescence bien conçue et une ergonomie facilitant une navigation fluide et un accès immédiat au cœur du site.

Nous n'ajoutons pas de fichiers sitemap ce qui serait une perte de temps sans apport réel pour le référencement dans notre cas.

Conclusion

Tout ce qui est fait pour faciliter le référencement d'un site est bon à prendre, mais encore une fois, la qualité initiale du site détermine l'effort à réaliser postérieurement pour une meilleure place dans les résultats de recherche. Notre conseil : faire un site de qualité directement.