AB实验中的因果推断局限：技术原理与工程实践避坑指南

1次阅读

共计 2324 个字符，预计需要花费 6 分钟才能阅读完成。

2009 年 Google 的著名案例『41 shades of blue』展示了错误因果推断的代价。团队通过 AB 测试不同蓝色色调对广告点击率的影响，最终选择了数据上最优的色号。但后续研究发现，这种局部优化导致整体视觉风格混乱，反而降低了长期用户体验。这个案例揭示了传统 AB 测试的常见误区：过度依赖统计显著性，忽视因果关系的真实性和外部有效性。

在因果推断中，我们使用潜在结果框架（Potential Outcomes Framework）来形式化 AB 实验。定义：

个体 i 的干预效应：$\tau_i = Y_i(1) – Y_i(0)$
平均干预效应（ATE）：$ATE = E[Y(1) – Y(0)]$

其中 Y(1) 和 Y(0) 分别表示干预和对照下的潜在结果。关键假设 SUTVA（Stable Unit Treatment Value Assumption）要求：一个个体的结果不受其他个体干预状态影响。

实验过程中用户的流失如果不是完全随机的，会导致最终分析的样本不能代表原始群体。例如在长周期实验中，活跃用户更可能留存，使得估计的 ATE 偏向于活跃用户群体的效应。

当实验组和对照组的用户发生交互，违反 SUTVA 假设。常见于社交产品中，对照组用户可能通过实验组用户了解到新功能。

某些干预效果需要时间积累才能显现。如果实验周期过短，可能低估或完全错过真实效应。例如推荐算法改变初期用户需要适应期。

DID 通过比较实验组和对照组在干预前后的变化差异来估计因果效应，公式：

$\hat{\tau}{DID} = (E[Y])$}^{T}] – E[Y_{pre}^{T}]) – (E[Y_{post}^{C}] – E[Y_{pre}^{C

Python 实现示例：

import pandas as pd
import statsmodels.formula.api as smf

# 模拟 DID 数据
data = pd.DataFrame({'group': ['T']*100 + ['C']*100 + ['T']*100 + ['C']*100,
    'period': ['pre']*200 + ['post']*200,
    'outcome': (np.random.normal(1,0.2,100) + 
                np.random.normal(0.8,0.2,100) +
                np.random.normal(1.5,0.2,100) +
                np.random.normal(0.9,0.2,100))
})

# DID 模型
model = smf.ols('outcome ~ group*period', data=data).fit()
print(model.summary())

当实验组样本量较小时，可以通过机器学习方法构建与实验组特征相似的合成对照组。关键在于选择适当的协变量和权重计算方法。

CUPED（Controlled-experiment Using Pre-Experiment Data）利用实验前的历史数据作为协变量，有效降低方差。公式：

$Y_{i,adj} = Y_i – \theta(X_i – E[X])$

其中 $\theta = \frac{Cov(X,Y)}{Var(X)}$

使用 power analysis 确定最小样本量：

from statsmodels.stats.power import TTestIndPower

# 参数设置
effect_size = 0.2  # 期望检测的效应大小
alpha = 0.05       # 显著性水平
power = 0.8        # 统计功效

# 计算样本量
analysis = TTestIndPower()
sample_size = analysis.solve_power(effect_size=effect_size, 
                                  alpha=alpha, 
                                  power=power)
print(f'每组需要样本量: {sample_size:.0f}')

当进行多次假设检验时，使用 Bonferroni 校正控制整体错误率：

from statsmodels.stats.multitest import multipletests

p_values = [0.01, 0.04, 0.03, 0.2]  # 原始 p 值
rejected, adj_pvals, _, _ = multipletests(p_values, 
                                        alpha=0.05, 
                                        method='bonferroni')
print(f'校正后 p 值: {adj_pvals}')