因果推断算法新进展：2020年后核心算法解析与实战指南

1次阅读

没有评论

共计 2224 个字符，预计需要花费 6 分钟才能阅读完成。

在 AB 测试和反事实预测场景中，传统方法如倾向得分匹配（PSM）面临三大局限：

强忽略性假设 ：要求所有混淆变量可观测且被正确建模，现实数据常存在隐变量
模型依赖敏感 ：倾向得分模型误设会导致最终估计偏差，而正确设定模型难度高
高维数据处理弱 ：当协变量维度超过数十个时，匹配质量会急剧下降

2020 年《Journal of Econometrics》研究表明，在医疗健康领域，PSM 对未观测混杂的敏感性比新算法高 47%。

数学原理 ：
$$\hat{\theta}0 = \arg\min\left[(Y – \ell(X) – \theta(T – m(X)))^2\right]$$
通过正交化消除估计偏差 }\mathbb{E
复杂度 ：O(nkd)（n 样本量，k 折数，d 特征数）
适用场景 ：连续 / 离散处理变量，存在高维混淆

数学原理 ：基于广义随机森林，最大化异质性治疗效应方差
复杂度 ：O(Mn log n)（M 为树数量）
适用场景 ：需要识别亚组处理效应 (HTE)

数学原理 ：两阶段神经网络拟合工具变量
$$\text{Stage 1}: Z \rightarrow T \quad \text{Stage 2}: (T,X) \rightarrow Y$$
复杂度 ：取决于 NN 架构
适用场景 ：存在有效工具变量

import numpy as np
import pandas as pd
from doubleml import DoubleMLData

# 生成模拟数据
np.random.seed(42)
n = 1000
X = np.random.normal(size=(n, 5))
T = X[:, 0] + np.random.normal(size=n)
Y = 0.5*T + X[:, 1] + np.random.normal(size=n)

# 创建 DML 数据对象
dml_data = DoubleMLData.from_arrays(
    x=X, y=Y, d=T,
    use_other_treat_as_covariate=False
)

# 协变量平衡检查（绝对标准化差应 <0.1）from sklearn.neighbors import NearestNeighbors
ps_model = LogisticRegression().fit(X, T>0)
ps_score = ps_model.predict_proba(X)[:,1]
nn = NearestNeighbors(n_neighbors=1).fit(ps_score.reshape(-1,1))
_, indices = nn.kneighbors(ps_score.reshape(-1,1))
asd = np.abs(X - X[indices.flatten()]).mean(0)
print(f"ASD: {asd}")  # 应全部 <0.1

from doubleml import DoubleMLPLR
from sklearn.ensemble import RandomForestRegressor

# 选择基模型（推荐梯度提升树）learner_g = RandomForestRegressor(n_estimators=100)
learner_m = RandomForestRegressor(n_estimators=100)

# 初始化 DML 模型
dml_plr = DoubleMLPLR(
    dml_data,
    ml_g=learner_g,
    ml_m=learner_m,
    n_folds=5,
    score="partialling out"
)

dml_plr.fit()
print(dml_plr.summary)

算法	单机时间	内存峰值
DoubleML	32min	8GB
CausalForest	41min	12GB

from pyspark.ml import Pipeline
from spark_ml import SparkDoubleML  # 需自定义封装

spark_dml = SparkDoubleML(
    partitions=200,
    base_learner=RandomForestRegressor(),
    treatment_col="T",
    outcome_col="Y"
)
model = spark_dml.fit(spark_df)