先给有条件的结论:分组后结论与总体相反,多数时候不是“总体错”或“分组错”,而是两组使用的分母不同。要查的不是哪条结论更可信,而是每个百分比背后“谁被算进了分母”。如果分组百分比的分母是各组的有效样本,而总体百分比的分母是全部记录,两者本就不能直接比较。只有在分母口径一致、且缺失记录不集中在某一组时,分组结论才可能与总体结论同时成立。
分组与总体相反,通常卡在三种分母上。第一种是“记录分母”,即所有进入统计的行;第二种是“有效分母”,即剔除了重复、测试流量或未完成流程后的记录;第三种是“可归属分母”,即能明确归到某个渠道或某个分组的记录。三者数量不同,算出的比率自然不同。
可以做一个最小动作:把总体和每个分组的分子、分母分别列出来,而不是只列百分比。例如假设总体转化率为 8%,A 组为 12%,B 组为 5%,但总体分母包含 40% 无法归组的记录。此时总体 8% 是被大量未归组记录拉低的结果,A、B 两组各自的分母只覆盖可归属部分。这个例子说明:相反不一定矛盾,可能只是总体分母混入了分组之外的对象。
列出分子分母后,下一步不是马上改结论,而是检查未归组记录是否集中在某个时间段、某个入口或某种设备上。如果集中,总体值就更像被污染的平均数,分组值更适合描述可归属部分。
上面的判断有一个前提:未归组或缺失的记录在两组之间大致随机分布。如果缺失恰好集中在高转化组,分组结论也会被抬高。假设 B 组有大量转化记录因为回传失败没有进入统计,B 组分母变小、分子也变小,算出的比率可能反而虚高或虚低,此时“分组更准”就不成立。
判断缺失是否随机,可以看缺失记录的时间分布、来源分布和完成深度。如果缺失集中在某一天、某个渠道或某个步骤之后,就不能把分组百分比当作稳定结论。这时能说的只有:在现有可归属数据里,A 组高于 B 组;不能说的是:A 组策略一定优于 B 组。这个区分很重要,因为前者是描述,后者是因果判断。
还要注意第三方估算流量、搜索引擎报告与站内统计口径不同。它们对同一批访问的计数规则不一致,直接拿一方的分母去除另一方的分子,会制造出看似相反、实则无法比较的结论。查分母时,先确认分子和分母是否来自同一套统计口径。
下面这组检查可以直接执行,顺序不要颠倒:
第 4 步是关键动作。把总体限制到与分组相同的可归属范围后,如果总体结论向分组靠拢,问题基本出在分母范围;如果仍然相反,就要怀疑分子口径,比如两组对“转化”的定义不同。这个动作的结果直接决定下一步:是统一分母,还是统一事件定义。
没有后台权限或完整日志时,仍然可以做一件事:向数据持有方索要“分组分子、分组分母、未归组数量”这三组数,而不是索要现成百分比。只要这三个数齐全,就能判断相反结论是否由分母造成。若只能拿到百分比,至少追问一句:这个百分比的分母包含哪些记录。
在拿到这些数之前,不能推出“某组策略更有效”,也不能推出“总体数据不可信”。能推出的只是:当前两条结论使用了不同分母,尚不可比。把不可比当成结论,是分组分析里最常见的误判。
最后回到决策:如果分母差异来自无法归组的记录,优先修的是归因和埋点,而不是调整策略;如果分母一致而结论仍相反,才进入分子层面的检查。先查分母,再查分子,这个顺序能避免把统计口径问题误当成策略效果问题。