AB实验与因果推断在京东的实践：从新手入门到避坑指南

1次阅读

共计 1751 个字符，预计需要花费 5 分钟才能阅读完成。

在电商领域，数据驱动的决策至关重要。AB 实验和因果推断是评估策略效果的核心工具，但新手常陷入以下误区：

样本偏差 ：实验组和对照组用户特征不一致，导致结论不可靠
混杂变量 ：未控制的隐藏因素干扰效果评估（如季节性波动）
新奇效应 ：用户因新鲜感暂时改变行为，误判长期效果

京东通过日均数万次实验发现：约 30% 的初版实验设计存在上述问题。

方法	适用场景	优点	缺点
RCT	用户随机分组场景	黄金标准，因果性强	成本高，可能不 ethical
DID	政策 / 功能渐进式上线	利用自然实验设计	需要平行趋势假设
PSM	观测数据中的对比分析	处理非随机数据	依赖模型设定

京东 618 大促期间，对优惠券策略同时使用 RCT 和 DID 验证，结果差异小于 2% 时才会采纳。

实验设计
目标：评估新排序算法对转化率的影响
分组：5% 用户随机曝光新算法（确保手机 /PAD/PC 端比例一致）
指标：点击率、加购率、转化率、停留时长

数据收集

# 伪代码示例：京东 AB 实验数据埋点
def track_ab_test(user_id, exp_group, event_type):
    log_data = {"timestamp": datetime.now(),
        "user_segment": get_user_tier(user_id),  # 京东用户分级体系
        "device_type": detect_device(),
        "experiment_id": "search_ranking_v2"
    }
    kafka_producer.send(log_data)

分析流程
先验检查：AA 测试验证分组均匀性（p>0.1）
效果分析：使用双重稳健估计（Doubly Robust）控制用户画像特征

# 使用 DoWhy 进行因果推断（需安装 dowhy、econml）import dowhy
from dowhy import CausalModel

# 模拟京东用户行为数据
data = pd.DataFrame({'treatment': [1 if x<0.5 else 0 for x in np.random.rand(1000)],  # 实验组标记
    'conversion': np.random.randint(0,2,1000),  # 转化行为
    'user_value': np.random.normal(50,10,1000)  # 用户价值分
})

# 构建因果图
model = CausalModel(
    data=data,
    treatment='treatment',
    outcome='conversion',
    common_causes=['user_value']
)

# 估计效应
identified_estimand = model.identify_effect()
estimate = model.estimate_effect(
    identified_estimand,
    method_name="backdoor.propensity_score_stratification"
)
print(f"ATE 估计值: {estimate.value:.4f}")

统计功效 ：京东要求新实验的 power≥80%（通过样本量计算器预先确定）
多重检验 ：使用 Holm-Bonferroni 校正控制误报率
数据隐私 ：实验数据脱敏处理，遵守 GDPR 要求（京东内部数据需三级审批）

新奇效应应对
设置 1 - 2 周的观察期
对比新旧用户反应差异

样本平衡检查

# 检查实验组 / 对照组协变量平衡
from statsmodels.stats.weightstats import ttest_ind
for cov in ['age','gender','vip_level']:
    t, p, _ = ttest_ind(df[df.treatment==1][cov], 
        df[df.treatment==0][cov]
    )
    assert p > 0.1, f"{cov} 未通过平衡性检验"