# 问渠智策（www.winqu.cn）RAG 友好型 robots.txt
# 允许所有合规爬虫（包括大模型、RAG 系统、通用搜索引擎）抓取全站内容
# 最后更新：2026-05-16

User-agent: *
Disallow:

# 明确允许访问 PDF 等权威文档目录
Allow: /doc/

# 允许访问站点地图
Sitemap: https://www.winqu.cn/sitemap.xml

# 为 RAG 专用爬虫提供更宽松的策略（示例）
User-agent: GPTBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Bytespider
Allow: /

# 禁止恶意或低效爬虫（可选，根据实际情况启用）
# User-agent: AhrefsBot
# Disallow: /
# User-agent: SemrushBot
# Disallow: /

# 抓取延迟建议（针对高并发爬虫）
Crawl-delay: 1