先给结论:没有完全等价目标时,优先判断旧地址是否仍有独立价值。有,就保留并改写为承接页;没有,就直接退出并让它返回 404 或 410。最忌讳的是把一批语义不同的旧地址统一 301 到首页或栏目页,这会让用户和抓取系统都拿不到明确答案。你之所以试了常规做法仍没解决,往往是因为漏掉了“等价性判断”这一步:提交动作本身不能替代内容对应关系。
把旧地址按语义拆开看,而不是按数量批量处理。可用三个问题快速分类:
三个问题都偏向“是”,说明它值得保留或改写。若只有第三问勉强成立,说明它更接近应退出的地址。这里的判断依据是内容对应关系,不是提交工具里的状态标记。很多遗漏条件就出在把“能返回 200”当成“已经等价”,实际上页面主题已经漂移。
保留不等于原样放着。若旧地址的主题在新站仍有位置,但当前没有完全等价目标,可以把它改写成一个承接页:保留原地址可访问,页面主体说明内容已迁移到哪几个新页面,并给出可点击的链接。这样做的实际动作是“改写内容并维持可访问”,结果是访问者和抓取系统都能顺着链接到达新目标,而不是停在一个空壳上。
适用前提是:旧地址有稳定访问来源,或它的主题仍值得单独存在。若只是内部测试产生的地址,不必为它建承接页。改写后要检查承接页是否真的指向最相关的新页面,而不是指向栏目首页。指向越具体,下一步的监测才有意义;如果指向模糊,后续看到的访问数据也无法说明问题是否解决。
语义接近但不等价,是最容易误判的一类。此时可选两条路:
第一条适合旧主题只是新页面的一小部分,且补充内容不会让新页面主题变散。第二条适合旧主题本身有独立搜索意图,硬塞进新页面会稀释主题。选择依据是:旧主题能否用一小段自然覆盖。若需要大段解释才能说清,说明它应该独立成页。
这里要避免一个常见动作:为了让旧地址“不报错”,把它 301 到首页。结果通常是访问者落地后找不到原内容,跳出,而抓取系统也无法判断新旧对应关系。这个动作看似解决了状态码问题,实际把问题从“地址失效”变成了“意图失配”。
退出是合理选项,不是失败。当旧地址的主题已彻底下线、没有外部链接价值、也没有访问来源时,让它返回 404 或 410 比强行重定向更清晰。410 表示已删除,404 表示未找到,两者都能让抓取系统逐步降低对该地址的关注。
需要区分的是:用 robots.txt 限制抓取,并不等于可靠的索引移除。被 robots.txt 挡住的地址仍可能因外部链接出现在结果里,因为抓取系统无法读取页面内容来判断状态。若目标是让旧地址退出,直接返回 404 或 410,比在 robots.txt 里屏蔽更明确。站点地图也不是收录保证,把旧地址从站点地图移除只是减少发现入口,不等于移除已完成。
假设一个例子:旧站有一批按日期命名的活动页,新站只保留活动总览页。若这些旧页没有外部链接、访问量长期接近零,直接返回 410 是合理选择;若其中某几个被外部文章引用过,则应保留并改写为指向对应活动或总览的承接页。这个比较方法靠的是“是否仍有外部入口”和“主题是否仍存在”,不是靠提交次数。
无论保留、改写还是退出,都要用同一套验证动作收尾:随机抽取若干旧地址,确认返回状态与预期一致;确认承接页或新目标页可访问、主题相关;确认站内没有仍指向旧地址的错误链接。若发现某个旧地址返回 200 但内容为空,说明改写没完成,应回到承接页补充。
验证结果会直接决定下一步:状态与预期一致的地址可以进入观察;返回 200 但内容不相关的地址需要重新判断等价性;被 robots.txt 挡住却仍出现在结果里的地址,应改为直接返回 404 或 410。迁移处理不是一次提交动作,而是先判断等价性、再选择保留或退出、最后用状态和内容共同验证的连续过程。把这一步做完,旧地址才不会在迁移后长期悬空。