收录查询：批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /228cb7a5614f.html
📄
收录查询：批量页面只有一部分被发现时怎样划分对照组
先别急着补提交或改模板。把“已发现的页面”当作自然形成的实验组，把“同批上线、同模板、同内容类型但尚未被发现”的页面当作对照组，用批次和模板两层配对，才能判断差异到底来自页面本身还是来自发现路径。对照组不是随便挑没收录的页面，而是要求它们在可观测特征上与已发现页面尽量一致。
先确认分歧点：是“没被抓”还是“被发现但不索引”
多个角色对同一事实有不同理解时，最常见的是把日志里的抓取记录、收录查询结果和站点地图提交状态混为一谈。这三者指向不同环节：抓取代表爬虫来过，收录查询反映的是能否进入索引，站点地图只提供候选地址，不保证被抓或被收录。
因此划分对照组前，先统一口径。用site:查询或平台提供的页面状态报告只能说明查询时刻的可见结果，不能说明爬虫是否访问过。要区分两种情况：
- 从未被抓：日志中没有该 URL 的请求记录，或只有极少量试探性请求。此时对照组应优先按“链接入口数量”配对，而不是按页面内容质量配对。
- 被抓但未收录：日志中有完整响应记录，但收录查询查不到。此时对照组应按“内容相似度”配对，观察是否因内容重复或质量信号被过滤。
如果团队对“发现”的定义不一致，先花半天核对日志字段和查询口径，再进入分组。否则后面所有对照结论都建立在不同事实上。
按批次和模板做配对，而不是随机挑未收录页
批量页面通常不是同一时间上线的。假设某次改版后一次性发布了 800 个详情页，其中 300 个被发现，500 个没有。直接拿这 500 个和 300 个比较，会把上线顺序、内链位置、站点地图提交时间的差异全混进去。
更稳的做法是两层配对：
- 第一层按上线批次：同一周、同一批模板生成的页面放在同一组。不同批次的页面即使模板相同，也可能因为站点地图更新节奏不同而处于不同发现阶段。
- 第二层按模板和入口：在同一批次内，把已发现页面和未发现页面按“是否出现在列表页”“距离首页点击深度”“是否有站内搜索入口”再各分一层。
这样得到的对照组，是“同批次、同模板、同入口条件，但结果不同”的页面。差异才更可能指向页面级因素，而不是发布节奏或链接结构。
一个注明假设的短例子：假设某批 200 个页面中，100 个被发现、100 个没有。按入口配对后发现，已发现页面平均有 3 个站内链接指向，未发现页面平均只有 1 个。此时可以优先检查内链模块是否漏渲染，而不是先改标题或正文。这个数字只是说明比较方法，不代表真实比例。
用可核对的动作验证分组，而不是直接下结论
分好组后，选一个成本低、影响面可控的动作，只对其中一层对照组施加，观察结果如何影响下一步。
实际动作示例：在未发现页面中，选一个同批次、同模板的子集，手动从已有高抓取频率的列表页增加一条指向链接；同时保留另一部分未发现页面不做任何改动。两周后分别查询两组的收录状态。
结果解读要谨慎：
- 如果增加链接的子集开始被发现，而对照组没有变化，说明入口不足是合理解释之一。下一步可以扩大到同类页面，但仍要保留未处理组。
- 如果两组都没有变化，不能直接断定链接无效。还要检查站点地图是否更新、服务器是否对爬虫返回异常、页面是否被 robots.txt 限制。robots.txt 的抓取限制不等于可靠的索引移除，反过来，放开限制也不保证一定被抓或收录。
- 如果两组都开始被发现，可能是站点整体抓取预算或外部信号变化所致，不能归因于单一动作。
请求量、抓取量或某项统计归零，都不能单独证明处理正确。它们可能来自日志采样、统计口径调整、爬虫临时降频等合理解释。要结合对照组是否同步变化来判断。
把对照结果转成可交接的核对项
当多个角色对“哪些页面有问题”仍有分歧时，把分组结果写成一张可核对的清单，比继续争论更有效。清单至少包含：
- 页面 URL 或稳定标识（不要只写标题，标题可能重复）。
- 所属批次和模板标识。
- 当前收录查询结果，并注明查询时间和使用的查询方式。
- 日志中是否有抓取记录，以及响应状态。
- 所在对照组层级：按批次、按模板、按入口。
- 本轮是否施加了动作，动作类型和施加时间。
这张清单让“已发现”和“未发现”变成可复查的项目，而不是印象。下一轮复查时，先看同一对照组内是否出现分化：如果同层内一部分页面状态改变、另一部分没有，说明还有未纳入分组的变量，需要继续拆层。如果整层同步改变，才考虑把该层结论推广到同批其他页面。
整个过程的目标不是一次找到唯一原因，而是让每次动作都能被对照结果检验。HTTPS 不保证安全无漏洞或排名，站点地图不保证收录，不同搜索引擎的支持情况也须分别核查。把分歧转成对照组和核对项，才能让下一步动作有依据可循。
