页面改版后转化率提高，能否说明改版有效？如果同时有促销和渠道变化，简单前后比较很难回答。A/B测试通过同时随机分组，为评估某项行动的效果提供更可靠的比较基础。
假设检验是统计推断工具，A/B测试是一种实验设计。实验可以使用假设检验，但两者不是同一个概念。设计、执行和指标口径出了问题，再精确的p值也无法补救。
一、先把业务问题写成实验问题
例如：“新版支付引导是否能提高7天内付费转化率，同时不增加退款和投诉？”明确实验对象、方案、观察周期、主要指标和护栏指标，让最后的判断对应一开始的决策。
假设检验可以把原假设设为两组转化率相同，备择假设为不同。本文使用双侧检验，不在看到数据后改成单侧。显著性水平、主要指标和分析方式应提前确定。
还应明确最小有业务意义的效果。例如提高0.3个百分点才足以覆盖维护成本，这与统计上能否检测到零以上的效果，是不同问题。
二、随机分组与分析单位必须一致
如果按用户随机，用户应稳定进入同一组，跨会话仍看到同一方案。主要指标按每名纳入用户是否在固定7天内付费计算，不因付费次数不同而重复计人。
所有纳入用户都应等到观察窗口成熟后分析。不能把未走完流程的人从实验组剔除，只比较“认真使用新版”的用户，否则会破坏随机比较。团队、家庭或社交网络之间存在明显干扰时，还要考虑按群体分流和相应统计方法。
上线后检查实际分流比例、曝光是否成功、埋点是否一致、是否有用户跨组。预设1:1分流出现无法解释的大幅偏离，可能提示实验执行异常，不能只看最终转化率。
三、案例：4%与4.6%的差异如何计算
以下为教学假设数据。实验预先约定固定窗口和分析时点，两组各10,000名合格用户，所有用户的7天窗口均完整。A组400人付费，转化率4%；B组460人付费，转化率4.6%。
观察到的绝对差为0.6个百分点，相对提升为0.6÷4＝15%。按独立二项比例、两样本双侧z检验及合并比例标准误，得到p值约0.036。
使用未合并标准误的正态近似95%置信区间，转化率差约为0.038至1.162个百分点。这里检验和区间使用了不同的常见近似方式，数值在本例很接近；正式分析应预先选定方法，稀有事件或小样本需要更合适的检验与区间。
四、p值和置信区间分别告诉我们什么
p≈0.036表示：在原假设及检验模型假设成立时，获得当前或更极端统计量的概率约为3.6%。它不是“原假设有3.6%概率成立”，也不是“新版有96.4%概率有效”。
频率学派的95%置信区间，描述的是重复使用这种构造方法时，约95%的区间会覆盖真实参数；不能直接解释为当前这个固定区间有95%概率包含真实值。
本文区间没有包含零，和5%水平下的显著结论方向一致；但区间下限低于0.3个百分点业务阈值。因此数据支持存在正向效果，却还不足以明确保证效果超过既定商业门槛。是否上线，应结合成本、风险、收益和后续证据判断。
五、样本量与统计功效为什么要提前考虑
样本需求取决于基线转化率、希望检测的最小效果、显著性水平、统计功效、分流比例和分析方法。效果越小，通常越需要更多样本。统计功效表示当特定效果真实存在时，实验检出它的概率。
本文每组10,000人只是演示数据，不意味着所有业务都应按这个规模实验。实验前应用自己的基线、业务阈值和设计估算样本，再考虑周内周期与观察成熟度。不能看到p值较大后，简单把原因归为“效果不存在”。
六、最常见的三个误判
一是反复查看，显著就停。固定样本检验若每天重复尝试并随时结束，会改变错误率。若需要边看边决策，应预先采用适当的序贯方法与规则。
二是同时看很多指标，挑一个上涨的。多个方案、多个指标和大量分组会增加偶然发现，应明确主指标并考虑多重比较；事后分群结果可以作为后续假设，不能都当成独立确认。
三是把不显著当成相同。区间很宽且跨零，可能只是证据不足。若要论证“不差于旧版”或“基本等效”，需要预先设定界限，并使用非劣或等效设计。
七、实验报告如何支持上线决策
报告应包含实验时间、纳入规则、随机单位、各组样本量、原始分子分母、点估计、区间、检验方法、执行检查和护栏指标。把“统计证据”“业务收益”和“上线建议”分别说明，再连接成具体行动。
如果证据充分且护栏正常，可以逐步上线并继续观察；若区间仍覆盖重要亏损或商业门槛，则应根据预先计划与决策成本补充信息。好的实验，让团队理解不确定性，而不只是追求一个小于0.05的数字。
本文为数据分析方法详解系列第8篇。方法选择与整体流程可阅读：数据分析方法论总览。
