Qu'est-ce qu'un robots.txt en SEO ?

Tout d'abord, il faut noter que le robots.txt est un fichier texte. Il n'y a rien de magique à l'intérieur, pas de code, il s'agit juste d'instructions données via un texte.

Le robots.txt a pour but de dire aux robots d'indexation des moteurs de recherche quelles pages sont autorisées à être analysées (crawlées).

A travers le texte, le but va être de dire aux crawlers quelles sont les pages auxquelles ils ont accès ou sont "bannis".

Même si vous pouvez interdire le passage des robots crawlers via le robots.txt, cela ne bloque pas l'accès des pages aux utilisateurs web.

Grâce à ce fichier texte, vous allez donner des indications tout d'abord sur les agents (type de robot crawler) puis sur les pages qu'ils ne sont pas autorisées à se rendre.

Voici un exemple de robots.txt :

User-agent: *

Disallow : /mentions-légales

Ici, on dit à tous les robots d'indexations (User-agent: *) qu'ils n'ont pas le droit de se rendre sur la page mentions légales (Disallow : /mentions-légales).

Comprendre plus en détails les fonctions SEO du robots.txt !