robots.txt查看

站长工具 25 次使用

在线 robots.txt 查看工具，输入域名即可抓取并解析站点的 robots.txt，按 User-agent 分组展示 Allow/Disallow 规则、Sitemap 地址与抓取延迟，爬虫规则排查与 SEO 检测常用。