因果推断实战：Double Machine Learning (DML) 核心原理与 Python 实现

1次阅读

共计 2065 个字符，预计需要花费 6 分钟才能阅读完成。

在因果推断中，我们常常需要估计某个干预（Treatment）对结果（Outcome）的影响。例如，我们可能想知道一个新的营销策略是否真的提高了用户的购买率。然而，现实中存在许多混杂变量（Confounders），它们同时影响干预和结果，导致简单的相关性分析得出错误结论。

传统方法如回归分析直接对结果变量建模，往往会因为遗漏变量偏差（Omitted Variable Bias）或模型误设（Model Misspecification）而产生偏差。即使是倾向得分匹配（Propensity Score Matching）这类方法，在处理高维数据时也面临维度诅咒问题。

Double Machine Learning (DML) 通过两阶段估计有效解决了这些问题。与 Propensity Score Matching 相比，DML 具有以下优势：

能够处理高维混杂变量
不依赖严格的线性假设
通过样本分割避免过拟合
适用于连续型和离散型干预

但 DML 也有其局限性，例如需要足够大的样本量以保证两阶段估计的稳定性，且对基学习器的选择较为敏感。

DML 的核心思想是通过两阶段回归来消除混杂变量的影响。其数学推导如下：

首先，我们建立两个预测模型：
$$Y = \theta(X)T + g(X) + \epsilon$$
$$T = m(X) + \eta$$
其中 $g(X)$ 和 $m(X)$ 是任意机器学习模型。
通过交叉拟合（Cross-fitting）技术，将样本分成 K 折：
用一部分数据训练 $g(X)$ 和 $m(X)$
在另一部分数据上计算残差
最终通过残差回归估计因果效应：
$$\hat{\theta} = \frac{\mathbb{E}[(Y-\hat{g}(X))(T-\hat{m}(X))]}{\mathbb{E}[(T-\hat{m}(X))^2]}$$

这种方法被称为 ” 双重 ” 机器学习，因为它在两个阶段都使用了机器学习模型。

下面我们使用 EconML 库实现一个完整的 DML 流程。首先安装必要的库：

!pip install econml
!pip install dowhy

然后加载示例数据并进行预处理：

import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from econml.dml import LinearDML

# 生成模拟数据
np.random.seed(42)
n = 5000
X = np.random.normal(size=(n, 3))  # 混杂变量
T = np.random.binomial(1, 0.5, size=n)  # 干预变量
y = 3 * T + X[:, 0] + 0.5 * X[:, 1] + np.random.normal(size=n)  # 结果变量

接下来构建 DML 模型并训练：

# 初始化模型，使用随机森林作为基学习器
model = LinearDML(model_y=RandomForestRegressor(),
    model_t=RandomForestRegressor(),
    discrete_treatment=True
)

# 训练模型
model.fit(y, T, X=X)

# 输出平均处理效应
print(f"ATE: {model.ate_}")

评估模型效果：

# 计算置信区间
lb, ub = model.ate__interval()
print(f"95% CI: [{lb}, {ub}]")

# 可视化处理效应分布
effect = model.effect(X)
import matplotlib.pyplot as plt
plt.hist(effect, bins=30)
plt.title("Individual Treatment Effects")
plt.show()