AB测试与因果推断：从实验设计到结果分析的完整技术指南

1次阅读

没有评论

共计 1464 个字符，预计需要花费 4 分钟才能阅读完成。

在数据驱动的决策过程中，如何科学评估一个策略或产品的效果是核心问题。常见的误区包括：

混淆相关性与因果性 ：观察到两个变量同时变化就误认为存在因果关系
忽视样本偏差 ：实验组和对照组本身存在系统性差异，导致结果不可比
过早下结论 ：未达到统计显著性就做出决策
忽略新奇效应 ：用户对新功能短期反应不代表长期效果

这些问题往往导致错误决策，造成资源浪费甚至负面影响。

适用场景 ：可以主动干预并随机分组的场景
优点：黄金标准，能建立明确的因果关系
局限：有时难以实现（伦理 / 成本限制）

适用场景 ：只能观测无法实验的场景（如政策评估）
优点：可以利用观测数据推断因果关系
局限：依赖较强的假设条件

明确指标 ：选择核心评估指标（如转化率）和护栏指标（如用户体验）

样本量计算 ：基于预期效果大小、统计功效和显著性水平计算

# 样本量计算示例
from statsmodels.stats.power import tt_ind_solve_power
effect_size = 0.1  # 预期效果大小
alpha = 0.05       # 显著性水平
power = 0.8        # 统计功效
ratio = 1          # 两组样本比例
n = tt_ind_solve_power(effect_size=effect_size, alpha=alpha, power=power, ratio=ratio)
print(f'每组需要样本量: {int(n)}')

随机化方法 ：
完全随机
分层随机（确保关键特征均衡）
整群随机（减少干扰）

通过比较处理组和对照组在干预前后的差分来估计因果效应

通过构建相似特征的可比样本来减少选择偏差

# AB 测试结果分析示例
import pandas as pd
import statsmodels.api as sm

# 模拟数据
data = pd.DataFrame({'group': ['control']*500 + ['treatment']*500,
    'converted': [0]*400 + [1]*100 + [0]*350 + [1]*150
})

# 计算转化率
conv_rates = data.groupby('group')['converted'].mean()
print(f'转化率:\n{conv_rates}')

# 统计检验
from statsmodels.stats.proportion import proportions_ztest
count = [150, 100]  # 两组的成功数
nobs = [500, 500]   # 两组的样本量
z_stat, p_val = proportions_ztest(count, nobs)
print(f'Z 统计量: {z_stat:.3f}, p 值: {p_val:.4f}')