因果推断实战：基于Brady Neal框架解决观测数据中的混杂变量问题

1次阅读

共计 1893 个字符，预计需要花费 5 分钟才能阅读完成。

在数据科学实践中，我们常常需要从观测数据中推断因果关系。与随机对照试验（RCT）不同，观测数据中存在大量的混杂变量（confounders），这些变量同时影响处理变量（treatment）和结果变量（outcome），导致传统的统计方法（如回归分析）产生偏差。

举个例子，在研究教育水平对收入的影响时，家庭背景可能是一个混杂变量——它既影响个人的教育选择，也直接影响收入。如果忽略这个混杂变量，我们可能会高估教育对收入的真实影响。

传统统计方法（如线性回归）主要关注相关性而非因果性，存在两个主要局限：

无法区分真正的因果效应和虚假的相关性
对模型设定（如线性假设）敏感

因果推断框架则通过明确建模因果关系来解决这些问题。Brady Neal 提出的方法结合了因果图模型和双重机器学习，能够：

可视化变量间的因果关系（通过 DAG）
识别需要控制的混杂变量集合
稳健地估计因果效应

因果图（DAG）是表示变量间因果关系的直观工具。构建 DAG 需要领域知识，以下是关键步骤：

确定核心变量：处理变量(T)、结果变量(Y)、潜在混杂变量集合
绘制箭头表示因果关系
应用后门准则（backdoor criterion）识别需要调整的变量集

graph LR
    Z --> T
    Z --> Y
    T --> Y

在上图中，Z 是混杂变量，我们需要控制它才能获得 T 对 Y 的因果效应。

双重机器学习（Double ML）通过两个阶段来估计因果效应：

第一阶段：分别用机器学习模型估计处理变量和结果变量的条件期望

$$\hat{m}(X) = E[Y|X]$$
$$\hat{g}(X) = E[T|X]$$

第二阶段：在残差上估计因果效应

$$Y – \hat{m}(X) = \theta(T – \hat{g}(X)) + \epsilon$$

这种方法具有 Neyman 正交性，即使第一阶段的估计有轻微偏差，仍能得到一致的因果效应估计。

下面是使用 EconML 库的完整代码示例：

import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from econml.dml import LinearDML

# 生成模拟数据
np.random.seed(42)
n = 5000
Z = np.random.normal(size=n)  # 混杂变量
T = Z + np.random.normal(size=n)  # 处理变量
Y = 2*T + Z + np.random.normal(size=n)  # 结果变量
X = pd.DataFrame({'Z': Z})  # 协变量

# 初始化模型
dml_model = LinearDML(model_y=RandomForestRegressor(),
    model_t=RandomForestRegressor(),
    discrete_treatment=False
)

# 训练模型
dml_model.fit(Y, T, X=X)

# 输出结果
print(f"估计的因果效应: {dml_model.ate(X)}")
print(f"真实效应: 2.0")