AB测试与因果推断：从实验设计到结果分析的完整技术指南

1次阅读

没有评论

共计 1746 个字符，预计需要花费 5 分钟才能阅读完成。

在数据驱动的决策过程中，我们常常需要评估某个变化或干预的效果。比如，新设计的按钮颜色是否能提高点击率？价格调整对销量会产生什么影响？这类问题看似简单，但要得出科学可靠的结论却并不容易。

常见误区 1：简单前后对比 。比如比较改版前后的转化率变化，但忽略了季节性因素或其他外部影响。
常见误区 2：选择偏差 。比如只分析活跃用户的数据，结果可能不适用于全体用户。
常见误区 3：忽略混杂因素 。比如认为使用某个功能的用户留存率高，就断定该功能提高了留存，而实际上可能是资深用户更愿意尝试新功能。

AB 测试和因果推断正是为了解决这些问题而发展起来的方法论。

优点：通过随机分组可以确保实验组和对照组的可比性，能得出因果结论
缺点：有时难以实施（如政策变化影响所有用户），可能存在伦理问题
适用场景 ：产品功能改版、营销活动评估等可以控制实验条件的场景

优点：可以利用现有数据，不需要人为干预
缺点：需要更多统计假设，结论的可靠性取决于模型设定
适用场景 ：政策效果评估、历史数据分析等无法进行随机实验的场景

明确目标指标 ：选择 1 - 2 个核心指标（如转化率、GMV），避免指标过多导致多重检验问题

样本量计算 ：使用统计功效分析确定最小样本量

# 样本量计算示例
from statsmodels.stats.power import tt_ind_solve_power
# 假设我们希望检测 5% 的相对提升，基线转化率 10%，功效 80%，显著性水平 5%
effect_size = 0.05*0.1/0.1  # 相对提升转换为效应量
sample_size = tt_ind_solve_power(effect_size=effect_size, alpha=0.05, power=0.8)
print(f'每组需要样本量：{sample_size:.0f}')

随机化方法 ：
用户级别随机化（最理想）
如果必须按设备 / 地区分组，需要确保组间平衡
实验周期 ：考虑新奇效应和周期性变化，通常至少运行 1 - 2 个完整周期

适用于处理组和对照组在干预前有平行趋势的情况。基本思路是比较两组在干预前后的变化差异。

# DID 分析示例
import pandas as pd
import statsmodels.formula.api as smf

data = pd.DataFrame({'group': ['treat']*100 + ['control']*100,
    'period': ['pre']*50 + ['post']*50 + ['pre']*50 + ['post']*50,
    'outcome': [...]  # 填充实际数据
})

model = smf.ols('outcome ~ group*period', data=data).fit()
print(model.summary())

通过构建倾向得分模型，为处理组样本找到最相似的对照组样本，减少选择偏差。