外链查询:一次全站扫描被中断后怎样判断已覆盖范围

📍 WDQWDWQD987AAAAA:216.73.217.87
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d406dcea0155.html
📄

外链查询:一次全站扫描被中断后怎样判断已覆盖范围

先看中断前是否留下了逐条结果或可续跑的检查点。如果只有汇总数字而没有明细,覆盖范围就无法可靠判断,最稳妥的做法是缩小范围重扫;如果明细完整、只是总量统计缺失,则可以用已有记录估算覆盖面,再决定是否补扫。

先分清三种中断留下的证据形态

不同工具在中断时的落盘方式不同,判断覆盖范围的第一步是确认手里有什么。常见情况可以归为三类。

如果工具只给了一个百分比,不要把它当成覆盖率。百分比的分母可能是任务开始时预估的总量,而预估本身会随扫描推进而变化,中断时这个分母往往已经失真。

用可核对的证据确认边界,而不是靠直觉

出现与直觉相反的结果时,比如明明扫了大半却只看到少量外链,先别急着下结论说数据丢失。可以按下面的顺序取证。

  1. 抽点复核。从明细里挑几个已覆盖的页面,手动用另一种方式核对是否存在外链,看工具记录与人工观察是否一致。一致说明已覆盖部分可信,不一致说明工具本身对这类链接识别有限。
  2. 看边界附近。取最后若干条记录对应的页面,检查它们是否处于同一层级或同一目录。如果边界整齐地停在一个目录末尾,说明中断可能发生在分段切换处,而不是随机中断。
  3. 对比两次运行。在相同范围内再跑一次,比较两次明细的交集与差集。差集集中在某类页面,往往指向该类型页面处理失败,而不是覆盖不全。

这些动作的结果会直接影响下一步:边界可信就补扫剩余部分;边界附近已经出现异常,就应缩小范围重扫,而不是在不可信的边界上继续。

保留、改写还是退出:三种取舍的适用前提

判断完覆盖范围后,通常面临三个选择,各自成立的条件不同。

三种选择不要求全部尝试。多数情况下,先做抽点复核,再根据复核结果在保留补扫和改写重扫之间二选一即可。

一个假设例子:中断在目录切换处

假设一次扫描覆盖了首页、栏目页和部分文章页后中断,明细最后几条都集中在同一个文章目录。此时有两种合理解释:一是扫描确实按顺序推进,中断恰好发生在这里;二是该目录页面处理超时被跳过,明细里根本没写入失败记录。

区分方法是取该目录中排在边界之后的几个页面单独扫描一次。如果单独扫描能正常返回结果,说明原扫描只是没跑到,保留补扫即可;如果单独扫描同样失败或返回空,说明是该类页面的处理问题,应改写范围、排除或单独处理这类页面后再重扫。这个例子的数字和目录名均为假设,用于说明比较方法,不代表任何具体工具的实际行为。

把判断结果固定下来再决定下一步

无论选择哪种处理方式,都建议在继续之前记录三件事:已覆盖范围的边界依据、抽点复核的结论、以及本次未覆盖部分的处理方式。这样即使再次中断,也能从明确的起点续接,而不必重新推断覆盖到哪里。具体工具的断点机制、导出格式和续跑能力因产品而异,使用前需要以该工具当前的说明为准进行核对。

图1 图2

nginx