Contrôler la visibilité de pages internet

Chaque jour, un site internet peut recevoir la visite de dizaines de robots, systèmes automatisés mis en oeuvre pour la collecte du contenu indexé dans les moteurs de recherche. Les serveurs de Google, Bing, Yahoo, Yandex et bien d'autres effectuent quotidiennement des requêtes vers des milliards de site afin de vérifier si le contenu a été mis à jour, et l'enregistrer.