robots.txt查看

站長工具 32 次使用

在線 robots.txt 查看工具，輸入域名即可抓取並解析站點的 robots.txt，按 User-agent 分組展示 Allow/Disallow 規則、Sitemap 地址與抓取延遲，爬蟲規則排查與 SEO 檢測常用。