# 1. 所有爬虫的基础规则（对所有爬虫生效，优先生效）
User-agent: *
# 核心安全屏蔽（WordPress 必屏蔽目录）
Disallow: /wp-admin/          # 后台管理目录（绝对禁止爬虫访问）
Disallow: /wp-includes/       # 核心程序文件目录
Disallow: /wp-content/plugins/ # 插件目录（含敏感配置）
Disallow: /wp-content/themes/ # 主题目录（避免模板代码被抓取）
Disallow: /wp-content/upgrade/ # 升级临时文件目录
Disallow: /wp-content/blogs.dir/ # 多站点数据目录
Disallow: /cgi-bin/           # 服务器脚本目录（通用风险目录）

# 功能页面屏蔽（减少无效索引，按需调整）
Disallow: /trackback/         # 引用通知页面（尾部加斜杠避免误匹配）
Disallow: /feed/              # RSS 订阅页（重复内容，无需索引）
Disallow: /comments/          # 评论列表页（若与正文分离可屏蔽）
Disallow: /*?*                # 屏蔽带参数的动态页面（如筛选、排序页）
Disallow: /favorites/            # 分类页面（尾部斜杠限定路径，避免匹配/favoritespage等）
Disallow: /tag/                  # 标签页面

# 允许抓取的核心内容页（精确匹配，避免歧义）
Allow: /
Allow: /sitetag/              # 标签页面（精确匹配标签目录）
Allow: /html/                 # 作者页面（限定作者目录）


# 2. 主流搜索引擎爬虫（允许抓取核心内容，继承基础规则的屏蔽）
User-agent: Baiduspider        # 百度爬虫
Allow: /

User-agent: Googlebot          # 谷歌爬虫
Allow: /

User-agent: Bingbot            # 必应爬虫
Allow: /

User-agent: YandexBot          # 俄罗斯 Yandex 爬虫
Allow: /

User-agent: Sogou Spider       # 搜狗爬虫
Allow: /

User-agent: 360Spider          # 360 爬虫
Allow: /

User-agent: Yahoo! Slurp       # 雅虎爬虫
Allow: /

User-agent: DuckDuckBot        # DuckDuckGo 爬虫
Allow: /

User-agent: Bytespider         # 头条爬虫
Allow: /

User-agent: YisouSpider        # 神马 爬虫
Allow: /


# 3. 屏蔽恶意/AI爬虫（拒绝所有访问）
User-agent: GPTBot             # AI训练爬虫
Disallow: /

User-agent: ClaudeBot          # AI训练爬虫
Disallow: /

User-agent: SEMrushBot         # 竞品分析工具爬虫
Disallow: /

User-agent: MJ12bot            # 过度抓取的恶意爬虫
Disallow: /

User-agent: AhrefsBot          # 补充常见恶意爬虫（可选）
Disallow: /


# 4. 网站地图（使用索引文件管理分块地图，提升效率）
# 建议创建 sitemap-index.xml 包含所有分块地图，此处仅引用索引文件
Sitemap: https://www.ahgghg.com/sitemap.xml