Lecteur de robots.txt

Un lecteur en ligne de robots.txt. Saisissez un domaine pour récupérer et analyser le robots.txt du site, avec les règles Allow/Disallow regroupées par User-agent, ainsi que les URL Sitemap et le délai d'exploration. Pratique pour vérifier les règles des robots et pour le SEO.