robots.txt-Viewer

Ein Online-Viewer für robots.txt. Geben Sie eine Domain ein, um die robots.txt der Website abzurufen und zu analysieren: Allow/Disallow-Regeln gruppiert nach User-agent, außerdem Sitemap-URLs und Crawl-Verzögerung. Praktisch zur Prüfung von Crawler-Regeln und für SEO-Checks.