AB测试与因果推断实战：如何避免数据偏差并提升决策准确性

1次阅读

共计 1823 个字符，预计需要花费 5 分钟才能阅读完成。

在电商场景中，我们经常遇到这样的问题：当新用户注册流程改版后，发现实验组的转化率提升了 15%，但最终营收却没有明显变化。经过排查发现，这是因为实验组意外吸引了更多价格敏感型用户（非随机分组），而对照组保留了高净值客户（样本污染）。传统 AB 测试的核心假设——随机分组和样本同质性，在真实业务中经常被打破。

非随机分组问题 ：用户自然行为导致实验组 / 对照组存在系统性差异
样本污染 ：活动页面被意外分享到特定用户群
时间效应干扰 ：大促期间的数据与平日存在天然差异

适用于有时间维度数据的场景，比如：
– 评估会员体系改版效果
– 比较地区性策略差异

当存在明显选择偏差时最有效，例如：
– 新功能只对部分用户可见
– 营销活动定向发放场景

适合小样本实验，典型 case：
– 单个城市试点新物流方案
– A/ B 测试只能覆盖少量店铺

# 环境准备
!pip install causalml pandas seaborn

import pandas as pd
from causalml.match import NearestNeighborMatch
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt

# 数据加载（模拟电商场景）data = pd.read_csv('user_behavior.csv')
print(data[['age', 'gender', 'historical_purchase', 'treatment']].head())

# 数据预处理
scaler = StandardScaler()
covariates = ['age', 'historical_purchase', 'activity_level']
data[covariates] = scaler.fit_transform(data[covariates])

# PSM 匹配
matcher = NearestNeighborMatch(replace=False, ratio=1)
matched_data = matcher.match(data, 'treatment', covariates)

# 协变量平衡检验（QQ 图示例）plt.figure(figsize=(10,6))
for col in covariates:
    plt.scatter(matched_data.query('treatment==0')[col], 
                matched_data.query('treatment==1')[col],
                label=col)
plt.plot([-3,3], [-3,3], 'k--')
plt.xlabel('Control Group')
plt.ylabel('Treatment Group')
plt.legend()
plt.show()

Bootstrap 置信区间计算

from sklearn.utils import resample

def bootstrap_ci(data, n_iterations=1000):
    effects = []
    for _ in range(n_iterations):
        sample = resample(data)
        effect = sample.query('treatment==1')['conversion'].mean() - \
                 sample.query('treatment==0')['conversion'].mean()
        effects.append(effect)
    return np.percentile(effects, [2.5, 97.5])