robots.txt 生成器（含 AI 爬虫名单）

按爬虫分组设置允许 / 禁止目录，一键生成标准 robots.txt。内置 GPTBot、ClaudeBot、PerplexityBot 等主流 AI 爬虫 UA 名单——想被 AI 引用还是防 AI 训练，自己说了算。

Sitemap 地址（建议填写）

规则组（每个 User-agent 一组）

生成结果

添加规则组后点击"生成 robots.txt"，结果会显示在这里。

常见 AI 爬虫 User-agent 速查（内置名单说明）

User-agent	归属	抓取用途与屏蔽影响
Googlebot	Google	Google 搜索自然收录。屏蔽＝从 Google 消失，绝对不要动。
Google-Extended	Google	控制内容是否被用于 Gemini / AI Overviews 训练。屏蔽不影响 Google 搜索收录。
GPTBot	OpenAI	GPT 模型训练抓取。想被 ChatGPT 推荐可放行。
OAI-SearchBot	OpenAI	ChatGPT 搜索结果引用。做 GEO 获客的核心爬虫，建议放行。
ChatGPT-User	OpenAI	ChatGPT 用户实时浏览网页时使用。
ClaudeBot	Anthropic	Claude 模型训练抓取。
Claude-Web / anthropic-ai	Anthropic	Claude 早期抓取 UA，部分站点仍在使用。
CCBot	Common Crawl	开放网页数据集，众多模型训练语料来源。
PerplexityBot / Perplexity-User	Perplexity	Perplexity 索引与实时抓取，想被 Perplexity 引用需放行。
Bytespider	字节跳动	训练抓取，抓取量大、带宽消耗高，很多站选择屏蔽。
Amazonbot	Amazon	Alexa / Amazon AI 训练。
Applebot-Extended	Apple	Apple Intelligence 训练数据抓取。
Meta-ExternalAgent	Meta	Meta AI 训练抓取。
cohere-ai	Cohere	Cohere 模型训练抓取。

使用提示

robots.txt 上传到网站根目录，访问你的域名/robots.txt 可直接打开即生效。
每个 User-agent 规则组独立生效；同一爬虫只认最匹配它 UA 的那一组。
警惕 Disallow: / 写在 * 组＝全站禁止抓取，等于从搜索引擎消失，上线前逐行检查。

工具说明

robots.txt 是网站根目录的爬虫准入协议：它告诉 Googlebot、GPTBot、ClaudeBot 各类爬虫”哪些目录能抓、哪些不能抓、抓取节奏多快”。对跨境卖家，这份小文件正变成 GEO 与 SEO 的交叉决策点——AI 时代它管的不再只是 Google 收录，还包括你的内容会不会进入 ChatGPT、Perplexity、Gemini 的答案。屏蔽 GPTBot 可以防内容被拿去训练，但同时也放弃了在 AI 问答里的曝光；放行 OAI-SearchBot、PerplexityBot 则意味着买家在 AI 助手里搜”best XX”时你有机会被引用带流量。本工具按爬虫分组生成标准规则，内置主流 AI 爬虫 UA 速查表帮你判断每一个开关的得失，生成后复制或直接下载上传即可。

常见问题

屏蔽 GPTBot 会让我的网站从 ChatGPT 消失吗？

大概率会。GPTBot 与 OAI-SearchBot 被屏蔽后，ChatGPT 的搜索与引用基本无法获取你的内容。若目标是”被 AI 引用获客”，应放行 OAI-SearchBot、ChatGPT-User、PerplexityBot 等搜索类爬虫；若只防模型训练，可只屏蔽训练类爬虫（GPTBot、ClaudeBot、CCBot）而保留搜索类。

屏蔽 Google-Extended 会影响 Google 搜索排名吗？

不会。Google-Extended 只控制你的内容是否被用于 Gemini、AI Overviews 等产品的训练，Googlebot 的搜索收录完全不受影响。这是”保搜索、防训练”的常用组合。

Crawl-delay 有用吗？

Googlebot 不支持 crawl-delay（写了会被忽略），Bingbot 支持但不建议设太高，否则影响收录速度。它更适合用来压制 Bytespider 这类高带宽爬虫。

robots.txt 写错最常见的事故是什么？

在 * 组里写了 Disallow: /，等于宣布全站禁止抓取，Google 收录会迅速清零。生成后请逐行核对每个 Disallow 的目录是否真的是你想禁止的，尤其上线或改版迁移时。