京东AB实验与因果推断实战：如何避免数据偏差提升决策准确性

1次阅读

没有评论

共计 2142 个字符，预计需要花费 6 分钟才能阅读完成。

在电商平台的 AB 实验中，数据偏差和混杂变量常常导致实验结果失真。以京东的『新用户优惠券实验』为例，我们经常会遇到以下问题：

用户自选择偏差：高价值用户更倾向于主动领取优惠券
季节性因素：节假日或大促期间用户行为与平日差异显著
样本不平衡：实验组和对照组的用户画像差异较大

这些问题如果不加处理，可能导致我们得出错误的业务结论，比如高估优惠券的真实效果。

传统 AB 测试假设实验组和对照组完全随机分配，但在实际业务场景中往往难以实现。以下是几种因果推断方法的对比：

双重差分法 (DID)：适用于有时间维度数据的场景，要求满足平行趋势假设
倾向得分匹配 (PSM)：适用于横截面数据，能有效控制可观测变量
工具变量法 (IV)：适用于存在内生性问题的场景

京东技术选型决策树：
1. 如果有时序数据且满足平行趋势 → 选择 DID
2. 如果是横截面数据且可观测变量充分 → 选择 PSM
3. 如果存在明显的选择偏差 → 考虑 IV

下面使用 Python 的 CausalInference 库演示 PSM 实现：

import pandas as pd
import numpy as np
from causalinference import CausalModel

# 模拟京东优惠券实验数据
np.random.seed(42)
N = 5000
data = pd.DataFrame({'age': np.random.normal(35, 5, N),
    'gender': np.random.binomial(1, 0.5, N),
    'historical_spend': np.random.exponential(100, N),
    'treatment': np.random.binomial(1, 0.3, N),
    'conversion': np.zeros(N)
})

# 生成结果变量（优惠券对转化率的影响）data['conversion'] = 0.1 + 0.05*data['treatment'] + 0.001*data['age'] + \
                    0.01*data['historical_spend'] + np.random.normal(0, 0.01, N)

# 初始化因果模型
cm = CausalModel(Y=data['conversion'].values,
    D=data['treatment'].values,
    X=data[['age', 'gender', 'historical_spend']].values
)

# 估计倾向得分
cm.est_propensity()

# 进行匹配并计算 ATT
cm.est_via_matching()
print(cm.estimates)

关键步骤说明：

特征平衡检验（Love Plot）：

from causalinference.plots import plot_love
plot_love(cm)

ATT 计算结果解读：
ATE：平均处理效应
ATT：处理组的平均处理效应
ATC：对照组的平均处理效应

协变量选择原则：
– 避免 M 偏差：不要控制同时受处理和结果影响的变量
– 确保强可忽略性：所有重要混杂变量都应包含

当样本量不足时，可以采用 Bootstrap 方法：

from causalinference.utils import bootstrap

def estimate_att(data):
    cm = CausalModel(Y=data['conversion'], D=data['treatment'], 
                    X=data[['age', 'gender', 'historical_spend']])
    cm.est_propensity()
    cm.est_via_matching()
    return cm.estimates['matching']['att']

bootstrap_results = bootstrap(data, estimate_att, n_boot=1000)

对于实时实验，可以采用以下优化策略：
1. 滑动窗口计算倾向得分
2. 增量更新匹配结果
3. 定期重新评估平衡性