Robots Exclusion Checker - Une extension SEO pour Google Chrome
C'est une extension SEO pour Google Chrome qui est utile pour tout développeur de site web pour tester si son site web est bloqué par robots.txt ou meta robots.
Robots Exclusion Checker est une fonctionnalité très populaire qui est largement utilisée par les webmasters pour contrôler les moteurs de recherche robots et les crawlers web qui parcourent les sites web. Les robots sont utilisés par les moteurs de recherche pour indexer et cataloguer les pages web d'un site web. Ils ne peuvent pas lire le code HTML ou autre qui se trouve sur un site web. Les robots sont utilisés pour déterminer si un site web a été bloqué par un fichier robots.txt.
En plus de cela, il existe une fonction user-agent. Vous pouvez choisir l'agent utilisateur pour que les moteurs de recherche testent les sites Web. En utilisant cela, vous serez en mesure de déterminer à quel type de robot les moteurs de recherche ont accès. Ceci est utile pour tout développeur qui a besoin de savoir si le site web est bloqué par des robots.
