先查分母,不要先改结论。总体与分组方向相反,通常意味着总体指标里混进了与分组无关的流量、页面或查询,使总体分母被污染。诊断顺序应是:确认分组字段是否完整,再重建分母,最后判断是保留分组结论还是保留总体结论。若分组字段缺失率高,或总体分母包含大量不属于该决策范围的记录,分组结论更可信;反之,若分组样本过小、口径与总体不一致,总体结论更可信。
分组后结论与总体相反,常见有两种解释。第一种是分母污染:总体指标把不该进入的页面、查询或渠道算进来了。例如要评估一批旧内容是否退出,总体转化率按全站访问计算,但退出决策只涉及旧内容页。旧内容页访问下降,全站转化率却上升,原因可能是大量低转化访问集中在旧页面,退出后全站分母变小,比率被抬高。第二种是结构变化:各分组内部方向一致,但分组权重变了,导致总体方向相反。例如移动端和桌面端转化率都下降,但移动端流量占比大幅上升,总体转化率反而上升。两种解释对应不同动作:前者要修分母,后者要拆权重。
能区分两种解释的证据有三类。第一,看分组字段的完整率。若页面类型、内容状态或合作来源字段缺失集中在一批记录上,缺失记录又恰好是总体指标的主要贡献者,总体结论很可能被污染。第二,看分母构成。把总体分母按页面类型、查询意图或流量来源拆开,若某个新增大类不在决策范围内,却贡献了总体变化的主要部分,这就是分母污染的直接证据。第三,看分组权重。若各分组指标同向变化,但权重变化足以让总体反向,这是结构变化。实际操作可以这样:先导出一份带分组标记的明细,按分组计算指标,再按总体口径计算同一指标。若两者差异主要由未标记记录或范围外记录造成,下一步应重建分母,而不是修改分组结论。
假设要决定一批旧教程页是否退出。总体口径包含全站所有页面,旧教程页只占一部分。按总体看,旧教程页退出后全站平均停留时长上升;按旧教程页分组看,停留时长下降。此时不要直接说“退出有效”。先查分母:全站平均停留时长的分母是否包含首页、列表页和站内搜索页。若这些页面停留时长短、访问量大,退出旧教程页后它们占比下降,全站均值会被抬高。继续查旧教程页分组内部:若退出后剩余旧教程页的停留时长确实下降,说明退出动作损害了保留部分。下一步动作应是缩小退出范围,只退出分组内表现持续低于该组中位数的页面,并保留仍有引用的页面。这个动作的结果会改变后续判断:若缩小范围后分组指标不再下降,说明原结论是分母污染造成的;若仍下降,说明保留部分本身在衰退,需要继续查内容时效或内链变化。
重建分母的关键是让分母与决策范围一致。决定旧内容退出,分母就应限定在候选页面集合及其直接入口,而不是全站。决定旧系统下线,分母就应限定在该系统承接的任务,而不是所有后台请求。决定旧合作关系退出,分母就应限定该合作带来的有效线索,而不是全部表单提交。口径一致后,再比较分组与总体。若两者仍相反,检查是否存在时间窗错位:分组数据按自然周统计,总体数据按滚动三十天统计,这种口径差也会制造假相反。修正时间窗后重新计算,若相反消失,说明原矛盾来自统计口径,不是真实业务变化。
保留总体结论的条件是:分组字段完整、分母与决策范围一致、各分组权重稳定,且总体变化能由同一机制解释。保留分组结论的条件是:总体分母混入了范围外记录,或分组权重变化本身不是决策关注点。若两者都成立,应同时报告两个口径,并明确各自回答的问题不同:总体回答“全站比率如何变化”,分组回答“被处理对象自身如何变化”。对退出决策而言,通常后者更直接,但前提是分组样本足够覆盖候选对象。若分组样本过小,先扩大观察窗口或合并相邻分组,再下结论。分母查清之前,不要根据总体方向直接推广到分组,也不要根据分组方向直接否定总体。