Search

# *
User-agent: *
Allow: /
# 内部素材工作台，不进索引
Disallow: /*/brand/
Disallow: /brand/

# Sitemap 此前完全缺失：891 个 URL（99 页 × 9 语言）只能靠内链被发现。
# 由 app/sitemap.ts 在构建期生成，内含全语言 hreflang。
Sitemap: https://codeexpander.com/sitemap.xml

# Host 是 Yandex 专有指令，其余引擎忽略；保留不影响。
Host: https://codeexpander.com

# https://llmstxt.org
# https://codeexpander.com/llms.txt

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Applebot-Extended
Allow: /

# —— AI 抓取：搜索/浏览型显式允许（默认本就允许，写出来更抗未来的全局 Disallow）——
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# 训练型：当前策略=允许（上面 GPTBot / Google-Extended / ClaudeBot）。要拒绝就把 Allow 改成 Disallow。
# 以下三个未声明=默认允许；要拒绝就去掉注释改成 Disallow：
# User-agent: CCBot
# Disallow: /
# User-agent: Bytespider
# Disallow: /
# User-agent: Meta-ExternalAgent
# Disallow: /

# Yandex 专用：剥掉跟踪参数（其余引擎忽略）
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&ref&fbclid&gclid