基于cate因果推断的AB测试分析：从理论到工程实践

1次阅读

共计 2606 个字符，预计需要花费 7 分钟才能阅读完成。

传统 AB 测试通常直接比较实验组和对照组的均值差异（即 ATE，平均处理效应），这种方法在理想随机对照试验中有效。但在实际业务场景中，我们常面临以下问题：

混杂变量干扰：用户特征（如活跃度、历史消费）同时影响分组概率和结果指标
非随机分配：运营策略常针对特定人群（如高价值用户优先获得新功能）
效应异质性：不同用户群体对同一策略的反应可能截然不同

通过电商优惠券案例可以清晰看到问题：假设给女性用户发放更高面额优惠券，传统方法会错误地将性别对转化率的影响归因于优惠券效果。而 CATE（条件平均处理效应）通过建模 $\tau(x) = E[Y(1)-Y(0)|X=x]$，能够量化不同用户特征下的差异化处理效应。

当前主流因果推断工具各有特点：

Meta Robyn
优势：集成营销组合建模（MMM），适合预算分配场景
局限：黑箱性强，需要大量历史数据
DoWhy
优势：提供清晰的因果图建模接口
局限：缺乏现成的 CATE 预估实现
EconML
核心价值：专为 CATE 设计，提供双重机器学习等前沿方法
典型应用场景：
- 用户分群效果评估
- 个性化策略制定
- 非随机实验数据分析

处理高基数分类变量（如城市 ID）的典型方法：

# 使用目标编码平衡信息量与维度
from category_encoders import TargetEncoder

encoder = TargetEncoder(cols=['city_id'])
df['city_encoded'] = encoder.fit_transform(df['city_id'], df['conversion'])

# 添加频次特征防止过拟合
df['city_freq'] = df.groupby('city_id')['user_id'].transform('count')

from econml.dml import CausalForestDML
from sklearn.ensemble import RandomForestRegressor

# 定义模型组件
model_y = RandomForestRegressor(max_depth=10)
model_t = RandomForestRegressor(max_depth=5)

# 实例化因果森林
cf = CausalForestDML(
    model_y=model_y,
    model_t=model_t,
    n_estimators=500,
    discrete_treatment=True
)

# 拟合模型
cf.fit(Y=df['conversion'],  # 结果变量
    T=df['treatment'],   # 处理变量
    X=df[['age', 'city_encoded', 'historical_purchase']]  # 协变量
)

# 预测个体处理效应
te_effects = cf.effect(df[feature_cols])

验证条件独立假设（CIA）的关键步骤：

绘制处理变量与协变量的平衡性检验图
计算标准化均值差异（SMD）
残差分析检查建模效果

# 平衡性检查示例
from causalinference import CausalModel

causal = CausalModel(Y=df['conversion'].values,
    D=df['treatment'].values,
    X=df[feature_cols].values
)

causal.reset_stats()
print(causal.summary_stats)

当样本量不足时，推荐采用 bootstrap 聚合策略：

使用 sklearn.utils.resample 进行有放回抽样
在每轮采样数据上训练 CATE 模型
通过分位数聚合预测结果

倾向得分匹配的工程实现技巧：

from sklearn.linear_model import LogisticRegression
from causalinference import Matching

# 估计倾向得分
ps_model = LogisticRegression()
ps_model.fit(X=df[feature_cols], y=df['treatment'])
df['ps_score'] = ps_model.predict_proba(df[feature_cols])[:,1]

# 最近邻匹配
matching = Matching(
    method='nearest',
    replace=True,
    caliper=0.2
)
matched_data = matching.match(
    data=df,
    treatment='treatment',
    score='ps_score'
)

SHAP 分析在因果模型中的应用：

import shap

# 计算 SHAP 值
explainer = shap.TreeExplainer(cf.model_y)
shap_values = explainer.shap_values(df[feature_cols])

# 绘制特征重要性
shap.summary_plot(shap_values, df[feature_cols])

使用因果图工具（如 pgmpy）进行 d 分离测试
业务知识驱动的变量筛选
事后平衡性检验

对于时间变异的处理效应，推荐方案：

添加时间维度交互项
使用econml.dynamic.DynamicDML
滑动窗口效应分析

# 检验年龄组的效应差异
df['age_group'] = pd.cut(df['age'], bins=[0,25,35,50,100])

from statsmodels.formula.api import ols
model = ols('effect ~ C(age_group)', data=df).fit()
anova_table = sm.stats.anova_lm(model)

实践中仍存在诸多挑战：