C'est quoi le crawl (SEO) ?

Le crawl est le processus par lequel les moteurs de recherche analysent votre site web. On pourrait comparer le crawl à une radiographie lors d'un diagnostic médical. Le robot va venir explorer l'ensemble de votre site, à la recherche d'informations à inclure dans son index. S'assurer que votre site est accessible, et donc "crawlable'', aux robots est donc essentiel pour qu'ils puissent faire leur évaluation.

Car attention ⚠️
Il est possible de bloquer le crawl de votre site web, en ajoutant des balises "no index" dans votre fichier robot.txt !

Voici un outil gratuit pour vérifier la "crawlabilité" (je le conjugue à toutes les sauces héhé) de votre site internet :

• Merkle Technical SEO (crawling)

On parle de budget crawl car le temps de crawl aloué par les robots est limité pour chaque site internet !