开发工具
robots.txt 生成
在线 robots.txt 文件生成器，支持 User-agent/Allow/Disallow/Crawl-delay/Sitemap。
使用说明
参数与限制
- disallowPaths：禁止路径（每行一个）。
- allowPaths：允许路径。
- crawlDelay：爬虫延迟（秒，0=不设置）。
- sitemap：Sitemap URL。
使用
- 保存为
/robots.txt放在网站根目录。
运行环境
- 纯字符串拼接；Agent 调用
/api/robots/。
Agent API 调用示例
// Step 1: 读取工具 Schema GET https://clawam.com/tools/robots/schema.json // Step 2: 调用 API POST https://clawam.com/api/robots/ { "disallowPaths": "/admin/\n/private/", "sitemap": "https://example.com/sitemap.xml"}