AB实验与因果推断：从统计原理到工程实践

1次阅读

共计 1935 个字符，预计需要花费 5 分钟才能阅读完成。

在推荐系统效果评估中，我们经常遇到这样的场景：新算法在 AB 测试中点击率提升 5%，但上线后整体收益反而下降。这种情况往往源于样本偏差（sampling bias）——比如实验组用户本身更活跃，或测试期间有季节性活动干扰。

另一个典型案例是价格敏感度测试：当对 VIP 用户和非 VIP 用户采用不同定价策略时，传统 AB 实验会错误地将用户等级差异归因于价格变动本身，这就是典型的混杂变量（confounding variable）干扰问题。

随机对照实验(RCT)：通过完全随机分组保证协变量平衡，如临床药物试验
观察性研究：利用历史数据进行分析，需处理自选择偏差，如经济学政策评估

反事实推理框架（Counterfactual Framework）的核心问题是：” 如果同一个体同时经历实验组和对照组会发生什么？” 这在现实中无法实现，因此需要因果推断方法构建近似对比。

from dowhy import CausalModel
import networkx as nx

# 图 1：包含未观测变量 U 的因果图
dag = nx.DiGraph([('X', 'Y'), ('U', 'X'), ('U', 'Y')])
model = CausalModel(
    data=df,
    treatment='X',
    outcome='Y',
    graph=dag.to_dot())

from sklearn.linear_model import LogisticRegression

# 数据预处理
df['ps_score'] = LogisticRegression().fit(df[['age', 'income']], 
    df['treatment_flag']
).predict_proba(df[['age', 'income']])[:,1]

# 计算 ATE
treated = df[df['treatment_flag']==1]
control = df[df['treatment_flag']==0]
matched_control = control.iloc[
    np.argmin(np.abs(control['ps_score'].values - 
        treated['ps_score'].values.reshape(-1,1)),
        axis=1)
]

te = treated['outcome'].mean() - matched_control['outcome'].mean()

from dowhy.plotter import plot_sensitivity_analysis

# 检验未观测变量需要多大影响才能推翻结论
plot_sensitivity_analysis(
    est_ate=0.15,
    stderr=0.03,
    sensitivity_params={'confounder_influence': 0.1}
)

from statsmodels.stats.power import tt_ind_solve_power

# 基于最小可检测效应 (MDE) 计算
required_n = tt_ind_solve_power(
    effect_size=0.2,  # 期望检测的效应大小
    alpha=0.05,       # 显著性水平
    power=0.8,        # 统计功效
    ratio=1.0         # 实验组 / 对照组比例
)

from statsmodels.stats.multitest import multipletests

# Bonferroni 校正
reject, pvals_corrected, _, _ = multipletests(pvals=[0.01, 0.03, 0.005], 
    alpha=0.05,
    method='bonferroni'
)