# ============================================================================= # 17C吃瓜网 · 站群 robots.txt(相对路径 · 随机/多域名通用) # ============================================================================= # 说明: # - 全站允许抓取(Allow: /),不含 Disallow 规则 # - Sitemap 使用相对路径 /sitemap.xml,不写死任何域名或 https:// # - 访问 /robots.txt 时由 index.php 读取本模板并追加收录统计 # - /sitemap.xml 由 index.php 动态 glob:首页 + 栏目 + 文章(新增 HTML 自动收录) # - HTML 站点地图(用户浏览):/sitemap/index.html # ============================================================================= # --- 通用爬虫 --- User-agent: * Allow: / # --- 百度 --- User-agent: Baiduspider Allow: / Allow: /post/ Allow: /category- User-agent: Baiduspider-render Allow: / # --- 搜狗 --- User-agent: Sogou web spider Allow: / Allow: /post/ Allow: /category- User-agent: Sogou inst spider Allow: / # --- 360 / 头条 --- User-agent: 360Spider Allow: / User-agent: Bytespider Allow: / # --- 国际 --- User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / # Sitemap 相对路径(站群随机域名通用,切勿写 https://固定域名/...) # 动态统计块由 index.php 在输出前追加(勿在此写 Host 或绝对 Sitemap) # --- 站群动态注入(index.php · 2026-07-26 08:49:00)--- # 模式: 相对路径 · 随机/多域名站群 # 规则: 全站 Allow · 不含 Disallow # Sitemap 收录: 59 条(首页 + 栏目 + 文章 · glob 自动 · 新增 HTML 即收录) # HTML 地图: /sitemap/index.html Sitemap: /sitemap.xml # --- END 动态注入 ---