谷歌权重查询：一次全站扫描被中断后怎样判断已覆盖范围

📍 WDQWDWQD987AAAAA:216.73.217.11
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0088748f2c65.html
📄

谷歌权重查询：一次全站扫描被中断后怎样判断已覆盖范围

先看扫描日志的断点位置，而不是看总进度条。中断后判断覆盖范围，最可靠的办法是把“已抓取页面清单”和“计划清单”做差集，再按URL模式分组核对。如果日志只记录了成功条目、没记录已尝试但失败的条目，那么你只能确认成功部分，未完成部分需要重新扫描或改用增量方式补全。

中断类型决定覆盖范围能否直接推断

扫描中断的原因不同，已覆盖范围的可靠程度差别很大。常见三种情况：

判断依据是日志里有没有“请求发起时间”和“响应完成时间”两个字段。只有发起时间没有完成时间的条目，属于状态未知，不能计入已覆盖。

用差集和分组核对实际覆盖范围

假设你有一个计划扫描的URL清单，共1000条，日志显示成功写入620条。直接说“覆盖了62%”是不准确的，因为剩下的380条里可能有一部分已经请求但失败，有一部分根本没轮到。

实际操作分三步：

  1. 把日志中的成功URL提取出来，与计划清单做差集，得到“未成功写入”集合。
  2. 按URL路径前缀分组，比如/blog/、/product/、/old/，看哪些分组完全没出现在成功日志里。完全没出现的分组大概率是断点之后的部分。
  3. 对部分出现的分组，抽取几条做单页验证。如果单页能正常返回数据，说明该分组已覆盖但日志不完整；如果单页也失败，说明该分组整体未处理。

这个动作的结果直接决定下一步：如果未覆盖部分集中在少数几个分组，可以只补扫这些分组；如果分散在所有分组里，说明中断发生在早期，重新全量扫描更省事。

保留、改写还是退出：覆盖范围如何影响取舍

扫描覆盖范围不只影响“要不要补扫”，还影响你对旧内容的处置决策。前提是你扫描的目的是评估旧内容是否还有保留价值。

如果已覆盖范围集中在近期内容，而旧内容分组完全没扫到，那么你手上没有旧内容的数据，不能据此决定删除或保留。此时合理动作是先补扫旧内容分组，再根据结果做取舍。如果已覆盖范围恰好覆盖了全部旧内容，只是新内容没扫完，而你的决策只针对旧内容，那么可以直接使用现有结果，不必等全量完成。

改写和退出的判断也依赖覆盖完整性。假设某批旧页面在已覆盖范围内显示零流量、零外链，但该批页面还有30%未覆盖，那么“零”这个结论只对已覆盖部分成立。未覆盖部分可能有不同表现。这种情况下，把“零表现”当作退出依据是不充分的。更稳妥的做法是：先补扫未覆盖部分，确认整批表现一致后再做退出决策；如果补扫成本高于直接改写，也可以选择先改写少量样本，观察后续表现再决定其余页面。

中断后恢复扫描时怎样避免重复和遗漏

恢复扫描前，先确认工具是否支持断点续扫或增量模式。如果不支持，需要手动构造剩余URL清单。构造方法：从计划清单中减去已成功写入的URL，得到待扫清单。注意不要减去“已请求但失败”的URL，这些应该保留在待扫清单里，因为它们的状态是未知而非已完成。

如果工具支持按URL清单导入，直接把待扫清单作为新任务输入即可。如果不支持，只能按分组重新扫描，此时要接受一定程度的重复请求。重复请求的代价通常低于遗漏，但前提是目标站点能承受重复抓取。如果目标站点有严格限流，重复扫描可能再次触发中断，此时应降低并发或分批执行。

恢复扫描后，把新结果与旧日志合并时，以URL为唯一键去重。同一个URL在两次扫描中都有记录时，取时间较晚的那条，因为旧记录可能是在页面变化前抓取的。

什么情况下不必追求完整覆盖

全站扫描被中断后，不是所有场景都需要补全。如果你的决策只针对某个明确子集，比如只评估/old/目录下的页面，而该子集在中断前已完整覆盖，那么剩余部分不影响决策，可以直接使用现有结果。

另一种情况是扫描目的只是抽样评估。如果你原本就打算从全站中抽取样本，中断后已覆盖的部分如果样本量足够且分布合理，也可以直接分析，不必补扫。判断样本是否足够的依据是：已覆盖URL是否覆盖了你关心的所有内容类型和目录层级。如果只覆盖了博客文章、没覆盖产品页，而产品页也是评估对象，那么样本不完整，需要补扫产品页分组。

是否补扫的最终判断标准是：未覆盖部分是否可能改变你的结论。如果未覆盖部分与已覆盖部分在内容类型、更新时间、外链结构上高度相似，遗漏的影响较小；如果未覆盖部分属于完全不同的内容类型，遗漏可能导致结论偏差。

图1 图2
nginx