当站点从几十个URL增长到成千上万时,手工逐条检查首选域、逐页改链接、逐条提交URL会从“可控”变成“失控”。判断标准不是工作量大小,而是这项操作是否依赖人工记忆、是否每次都要重新判断、出错后能否被批量发现。满足其中两条以上,就应当考虑改为规则化或脚本化处理。
首选域相关的任务可以分成两层。第一层是策略判断,比如决定用带www还是不带www、是否把HTTP统一跳转到HTTPS、是否把旧域名整体迁移到新域名。这类决定影响全站,做一次、记录一次,适合人工拍板,不适合交给脚本自动决定。
第二层是执行与校验,比如确认每个页面是否都指向首选域、内链是否还有旧域名的绝对地址、站点地图和canonical是否一致。这类工作会随页面数量线性增长,一旦超过几百个URL,手工核对就不可靠。
可以用一个简单测试区分:如果同一件事在每次新增内容后都要重做一遍,它属于执行层,应该被规则或脚本接管;如果它只在架构变更时出现一次,保留人工判断更稳妥。
页面少的时候,编辑顺手把内链写成完整域名并不显眼。规模扩大后,同一篇文章可能被多个模板引用,硬编码的旧域名会散落在正文、导航、结构化数据和站点地图里。手工搜索只能覆盖你想到的位置,而模板输出、历史导入内容和第三方组件往往不在视野内。
可核对的证据是:抓取一份站内链接清单,按域名分组统计。如果非首选域名的绝对链接数量随页面数同步上升,说明这是结构性问题,不是个别编辑失误。此时应先在模板层统一输出相对路径或首选域变量,再处理存量内容。
新站阶段逐条提交URL是可行的,因为数量少、反馈快。规模扩大后,手工提交既无法覆盖全部新增页面,也无法区分“已提交但未处理”和“从未提交”。更合理的做法是保证站点地图只包含首选域下的规范URL,并让新增内容自动进入站点地图,而不是依赖人工逐条推送。
需要注意一个反常现象:提交量或抓取量突然下降,并不自动说明首选域设置错误。它也可能来自服务器响应变慢、站点地图格式错误、robots规则误伤,或者仅仅是搜索引擎调整了抓取节奏。要区分这些解释,应同时检查服务器日志中的响应码分布和站点地图的可访问性,而不是只盯着提交数字。
页面少时,重定向可以记在表格里。页面多起来后,重定向链和循环跳转往往来自多次迁移叠加。手工维护的规则表无法自动发现“A跳B、B跳C、C又跳回A”这类问题。
实际动作是:把重定向规则集中到一个可版本管理的配置文件中,每次变更后跑一次全量检查,输出跳转链长度和最终落点。如果发现最终落点不是首选域下的有效页面,就说明规则需要修正。这个检查结果会直接决定下一步是补规则还是回滚某次迁移。
条件一:站点仍由单一团队维护,页面数在数百以内。此时可以保留人工审核关键页面的首选域一致性,但至少要把站点地图生成和canonical输出交给模板。人工只负责抽查首页、栏目页和高价值内容页。
条件二:站点有多个内容来源,页面数达到数千以上。此时人工抽查已无法代表整体。应把首选域校验做成发布流程的一部分:内容进入发布队列时自动检查绝对URL、canonical和站点地图收录状态,不通过则阻止发布或标记待修。
两种选择的依据不是团队能力,而是“人工覆盖比例”。如果人工能覆盖的页面比例低于一个可接受阈值,继续手工做就只是在制造盲区。
假设某站点有五千个URL,其中约百分之二的内链仍指向旧域名。人工抽查五十个页面,可能一个都没抽中,于是得出“没有问题”的结论;而全量抓取会直接暴露这一百个链接的分布位置。这个例子的数字仅用于说明抽样与全量的差异,不代表任何真实站点的统计结果。
据此可以采取的动作是:先跑一次全量抓取,按模板和内容类型分组查看旧域名链接来源。如果集中在某几个模板,就改模板;如果分散在历史内容,就批量替换后再复查一次。复查结果决定是否需要继续处理,而不是凭感觉判断已经完成。
把这些例外明确列出,可以避免走向另一个极端:把所有事情都交给自动化,却在策略变更时失去控制。规模扩大后真正需要放弃的,是重复性执行和逐条核对,而不是判断本身。