当筛选、排序、分页、追踪等参数可以自由组合时,地址空间在理论上趋于无限,而索引量查询能看到的只是其中已被处理的一小部分。有效地址集合不能靠穷举定义,而应先确定哪些参数会改变页面主体内容,再为其余参数规定唯一的标准形态。换言之,先做参数分类,再做地址归一,最后才谈提交与观察。下面按“参数会改变内容”和“参数不改变内容”两种条件分别说明选择依据。
如果某个参数会切换商品品类、文章列表的筛选维度、语言或币种,那么它对应的是不同页面,应当保留在有效集合内。判断依据不是参数名,而是关闭该参数与开启该参数后,页面主体是否出现实质性差异。假设一个列表页带 ?color=red 与不带该参数时返回的商品集合不同,那么这两类地址都应视为有效,并各自具备可被抓取的内链入口。
实施动作上,先列出全部参数及其取值来源,标注每个参数是否参与内容查询。对参与内容查询的参数,确定允许的取值枚举,并为每个取值生成稳定的规范地址。这样做的直接结果是:有效集合从“无限组合”收缩为“内容维度笛卡尔积”,规模可控,且每个地址都有明确的内容对应关系。下一步的复查对象也随之明确——只需检查这些地址是否可被抓取、是否返回稳定内容,而不必再为随机组合耗费精力。
排序方式、会话标识、来源追踪、展示偏好等参数通常不改变主体内容,只是同一页面的不同呈现。这类参数不应各自占用一个有效地址,而应通过规范链接指向无参数或固定参数顺序的标准形态。选择依据是:同一内容存在多个可访问地址时,会分散内链与信号,而索引量查询中出现的多条记录往往只是同一页面的不同参数变体。
实施动作分三步。第一,为每类页面确定一个标准地址,例如固定为无追踪参数的路径。第二,在页面输出指向标准地址的规范链接,并让站内链接统一使用标准形态,避免同一目标出现多种写法。第三,对确需保留的可读参数,规定固定的参数顺序与大小写,使 ?a=1&b=2 与 ?b=2&a=1 归一为同一地址。这个动作的结果是:索引量查询中同一内容的重复记录会逐步收敛,后续判断“哪些地址缺失”时才不会被重复项干扰。需要注意,robots.txt 的抓取限制并不等于可靠的索引移除,被限制抓取的参数地址仍可能以其他方式出现在结果中,因此归一应优先在链接与规范层面完成。
两种条件并非一次判断就能定稳,需要证据来区分。可用的证据包括:服务器访问日志中带参数请求的返回内容是否与标准地址一致;页面主体文本的相似程度;参数是否出现在站内链接中。如果带参数地址与标准地址返回几乎相同的主体内容,倾向于归一;如果主体内容明显不同,倾向于保留。
一个注明假设的短例子:某站有 ?sort=price 与 ?page=2 两类参数。假设日志显示 ?sort=price 返回的商品集合与默认排序完全相同,仅顺序不同,那么它应归一到标准地址;假设 ?page=2 返回的是另一批商品,那么它属于内容分页,应保留并纳入有效集合。这个比较方法只说明判断路径,不代表任何真实站点的实测结论。
收紧与放宽的取舍还会影响下一步:当归一范围扩大后,需要复查标准地址是否仍能通过内链到达;当保留范围扩大后,需要复查这些地址是否都有独立入口,而不是只能靠外部链接发现。站点地图不保证收录,因此提交站点地图只是辅助动作,不能替代内链与规范处理。
有些地址即使返回正常内容,也不宜纳入有效集合。典型情况包括:搜索结果页、无限滚动产生的中间态、仅用于内部调试的参数、以及会触发写操作或状态变更的地址。判断标准是这些地址是否具备稳定、可独立引用且值得被检索的内容价值。
对确有检索价值的筛选组合,可以保留但需控制规模:只开放有搜索需求的维度,并确保每个组合页面有独立标题与主体内容。若某组合只是把已有内容重新排列,仍应归一。完成分类与归一后,再用索引量查询观察变化,但要注意请求量或抓取量归零可能来自抓取预算调整、服务器响应变化或统计口径变动,不能单独证明处理正确。不同搜索引擎对参数与规范的处理方式存在差异,涉及具体引擎时须分别核查其支持情况,再决定提交与观察的重点。