AB实验因果推断的局限与解决方案：从统计偏见到增量模型

1次阅读

没有评论

共计 2008 个字符，预计需要花费 6 分钟才能阅读完成。

在实际业务场景中，AB 测试的因果推断常常面临三个典型问题，这些问题的存在使得我们难以准确评估实验效果。

选择偏差
当实验组和对照组的用户分布存在系统性差异时，传统均值比较会得出错误结论
典型案例：新用户自动进入实验组，导致实验组新用户比例显著高于对照组
数学表现为：$E[Y(1)|T=1] \neq E[Y(1)|T=0]$
干扰效应
在社交网络或供需匹配场景中，实验组用户的行为会影响对照组用户
典型场景：滴滴对部分司机调价会间接影响其他司机的接单率
违反 SUTVA（稳定单位干预值假设）条件
非平稳性
时间因素导致的外部变化干扰实验效果评估
典型案例：电商大促期间的自然流量增长会掩盖真实的策略效果
表现为：$P(Y|do(T))$ 随时间 t 变化

针对上述问题，业界常用三种传统方法，但各有缺陷：

双重差分法 (DID)
美团外卖曾用 DID 评估会员体系改版效果
失败原因：未考虑不同城市间的政策实施时间差异
关键假设（平行趋势）难以满足
倾向得分匹配 (PSM)
滴滴用 PSM 评估司机奖励政策
问题：高维度特征下匹配质量急剧下降
样本利用率不足 30%
合成控制法
抖音用该方法评估内容推荐算法
局限：需要长期预处理期数据
对突发流量变化敏感

我们提出的混合解决方案结合了因果森林和合成控制的优势，核心架构如下：

from dowhy import CausalModel
import pandas as pd

# 构建因果图
def build_causal_graph(df: pd.DataFrame) -> CausalModel:
    """
    使用 DoWhy 构建因果图结构

    Args:
        df: 包含 treatment, outcome 和 confounders 的 DataFrame

    Returns:
        Initialized CausalModel instance
    """
    model = CausalModel(
        data=df,
        treatment='treatment',
        outcome='conversion',
        graph="""digraph {
            treatment -> conversion;
            user_age -> conversion;
            user_age -> treatment;
            historical_purchase -> conversion;
        }"""
    )
    return model

from econml.orf import DMLOrthoForest
from sklearn.ensemble import GradientBoostingRegressor

# 初始化因果森林
orf = DMLOrthoForest(
    n_trees=500,
    min_leaf_size=50,
    max_depth=30,
    discrete_treatment=True,
    model_T=GradientBoostingRegressor(),
    model_Y=GradientBoostingRegressor(),
    random_state=42
)

# 训练模型
orf.fit(
    X=confounders,  # 混淆变量
    T=treatment,    # 处理变量
    Y=outcome       # 结果变量
)

# 计算 ATE 及其置信区间
ate = orf.ate(X=test_confounders)
ci = orf.ate_interval(X=test_confounders)

print(f"平均处理效应: {ate.mean():.4f}")
print(f"95% 置信区间: [{ci[0].mean():.4f}, {ci[1].mean():.4f}]")