因果推断实战：如何用 ate 方法解决业务中的归因难题

1次阅读

共计 2788 个字符，预计需要花费 7 分钟才能阅读完成。

在电商行业中，我们经常需要评估营销活动或产品改版对用户行为的影响。比如，我们想知道一个新上线的推荐算法是否真的提升了用户的购买转化率。传统的方法是简单地比较参与活动用户和未参与活动用户的转化率差异，但这种相关性分析存在严重缺陷——它无法区分效果是来自活动本身，还是来自用户自身特征的差异（选择偏差）。

举个例子，假设我们向高价值用户推送了一个优惠券活动，观察发现这部分用户的购买率确实更高。但这可能是因为高价值用户本身就有更高的购买意愿，而不是优惠券的效果。这种情况下，我们就需要因果推断的方法来识别真正的处理效应。

平均处理效应 (ATE) 是因果推断中的一个核心概念，表示如果我们对所有样本实施干预 (Treatment) 与不实施干预 (Control) 时的结果差异。数学上表示为：

$$ATE = E[Y(1) – Y(0)]$$

其中 Y(1)和 Y(0)分别是潜在结果(Potential Outcomes)。

在因果推断中，我们使用因果图 (DAG) 来可视化变量间的因果关系。一个典型的电商场景因果图可能包含：

处理变量(T)：是否收到优惠券
结果变量(Y)：是否购买
混淆变量(X)：用户活跃度、历史购买金额等

PSM适用于横截面数据，通过为每个处理组样本找到最相似的对照组样本来模拟随机实验
DID适用于面板数据，利用处理前后两组的变化差异来消除时间趋势影响

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 生成模拟数据
np.random.seed(42)
n_samples = 2000

# 混淆变量：用户价值
user_value = np.random.normal(0, 1, n_samples)

# 处理分配：高价值用户更可能收到优惠券
treatment = (user_value + np.random.normal(0, 0.5, n_samples) > 0).astype(int)

# 结果：购买概率受用户价值和优惠券影响
purchase_prob = 1 / (1 + np.exp(-(0.5 * user_value + 0.8 * treatment - 0.3)))
purchase = np.random.binomial(1, purchase_prob)

df = pd.DataFrame({'user_value': user_value,
                   'treatment': treatment,
                   'purchase': purchase})

from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import NearestNeighbors

# 估计倾向得分
ps_model = LogisticRegression()
ps_model.fit(df[['user_value']], df['treatment'])
df['ps'] = ps_model.predict_proba(df[['user_value']])[:, 1]

# 最近邻匹配
treated = df[df['treatment'] == 1]
control = df[df['treatment'] == 0]

nbrs = NearestNeighbors(n_neighbors=1).fit(control[['ps']].values)
_, indices = nbrs.kneighbors(treated[['ps']].values)

matched_control = control.iloc[indices.flatten()]
matched_df = pd.concat([treated, matched_control])

import statsmodels.api as sm

# 计算 ATE
ate = matched_df[matched_df['treatment']==1]['purchase'].mean() - \
      matched_df[matched_df['treatment']==0]['purchase'].mean()

print(f"ATE estimate: {ate:.3f}")

# 回归调整
X = matched_df[['treatment', 'user_value']]
X = sm.add_constant(X)
y = matched_df['purchase']

model = sm.OLS(y, X).fit()
print(model.summary())

非重叠支持域问题：当处理组和对照组的倾向得分分布差异很大时，匹配会失败。解决方案：
检查倾向得分的分布重叠情况
考虑使用修剪 (trimming) 或重新定义研究人群
中介变量错误控制：不要控制处理变量和结果变量之间的中介变量，这会引入偏差。例如，在评估优惠券效果时，” 浏览商品详情页次数 ” 可能是中介变量，不应作为协变量控制。

# 匹配前后协变量平衡性对比
plt.figure(figsize=(10, 4))
plt.subplot(121)
sns.kdeplot(data=df, x='user_value', hue='treatment', common_norm=False)
plt.title('Before Matching')

plt.subplot(122)
sns.kdeplot(data=matched_df, x='user_value', hue='treatment', common_norm=False)
plt.title('After Matching')
plt.tight_layout()
plt.show()

# Rosenbaum 边界分析
from statsmodels.stats.sensitivity import RosenbaumBounds

rb = RosenbaumBounds(treated['purchase'].mean(), 
                    matched_control['purchase'].mean(),
                    treated.shape[0])

print(rb.summary())