# 炽量官网 robots.txt
# 主动允许主流搜索引擎与 AI 爬虫抓取，以提升品牌在生成式引擎中的可见度

User-agent: *
Allow: /
Disallow: /_build/
Disallow: /*?utm_

# OpenAI 的网页抓取机器人（用于模型训练与检索）
User-agent: GPTBot
Allow: /

# OpenAI 搜索索引机器人
User-agent: OAI-SearchBot
Allow: /

# ChatGPT 用户实时访问代理
User-agent: ChatGPT-User
Allow: /

# Anthropic 的网页抓取机器人
User-agent: ClaudeBot
Allow: /

# Anthropic 爬虫
User-agent: anthropic-ai
Allow: /

# Perplexity 检索机器人
User-agent: PerplexityBot
Allow: /

# Google 生成式 AI 训练授权
User-agent: Google-Extended
Allow: /

# Google 搜索爬虫
User-agent: Googlebot
Allow: /

# Apple 爬虫
User-agent: Applebot
Allow: /

# Apple 生成式 AI 训练授权
User-agent: Applebot-Extended
Allow: /

# 字节跳动爬虫
User-agent: Bytespider
Allow: /

# Microsoft Bing 爬虫
User-agent: Bingbot
Allow: /

# 百度爬虫
User-agent: Baiduspider
Allow: /

# 搜狗爬虫
User-agent: Sogou
Allow: /

# 360 搜索爬虫
User-agent: 360Spider
Allow: /

# 神马搜索爬虫
User-agent: YisouSpider
Allow: /

# Common Crawl 公共语料爬虫
User-agent: CCBot
Allow: /

# Amazon 爬虫
User-agent: Amazonbot
Allow: /

# Diffbot 知识图谱爬虫
User-agent: Diffbot
Allow: /

# Webz.io 数据爬虫
User-agent: omgili
Allow: /

# Timpi 搜索爬虫
User-agent: Timpibot
Allow: /

# Meta 外部智能体
User-agent: Meta-ExternalAgent
Allow: /

# 互联网档案爬虫
User-agent: ia_archiver
Allow: /

Sitemap: https://www.126ai.cn/sitemap.xml
Sitemap: https://www.126ai.cn/llms.txt