Carnival因果推断入门指南：从原理到实战避坑

1次阅读

共计 1797 个字符，预计需要花费 5 分钟才能阅读完成。

假设我们在做一个 APP 改版的 AB 测试：实验组看到新界面，对照组看到旧界面。两周后发现实验组人均停留时长增加了 15%，能直接得出新界面提升用户体验的结论吗？传统统计方法可能忽略了一个关键事实——实验期间恰逢春节假期，用户本身就有更多空闲时间。这就是典型的「相关不等于因果」问题。

相比 DoWhy 的基于图的因果模型和 EconML 的元学习器，Carnival 最大的特点是采用双重机器学习（Double Machine Learning）：

第一阶段：用机器学习模型分别拟合干预变量和结果的预测
第二阶段：用残差进行因果效应估计

这种设计能有效避免过拟合，特别适合高维特征场景。我们通过一个对比表格来看差异：

特性	Carnival	DoWhy	EconML
双重机器学习	✅	❌	部分支持
非参数模型	✅	❌	✅
可视化诊断	❌	✅	❌

# 安装最新版（需要 Python≥3.8）pip install carnival-learn

import pandas as pd
from carnival import CausalForest
from sklearn.preprocessing import OneHotEncoder

# 读取数据（示例）data = pd.read_csv('user_behavior.csv')

# 处理分类变量
encoder = OneHotEncoder(drop='first')
cate_features = encoder.fit_transform(data[['city', 'device']])

# 构造特征矩阵
X = pd.concat([data[['age', 'usage_freq']],
    pd.DataFrame(cate_features.toarray())
], axis=1)

# 定义干预变量和结果
T = data['new_ui']  # 是否看到新界面
y = data['duration']  # 停留时长

# 初始化因果森林
cf = CausalForest(
    n_estimators=200,
    max_depth=5,
    min_samples_leaf=10,
    random_state=42
)

# 训练模型
cf.fit(X, T, y)

# 计算平均处理效应(ATE)
ate = cf.estimate_ate()
print(f"ATE: {ate:.2f}分钟")

参数调优经验：
– n_estimators与 max_depth 需配合调整，建议先用网格搜索确定大致范围
– 样本量 <10 万时，树深度建议控制在 5 - 8 层
– 内存不足时可设置 n_jobs=-1 启用并行计算

数据量	单机模式	分布式模式
50 万行	8GB	3GB
100 万行	内存溢出	6GB

高频特征处理建议：
1. 对出现次数 <100 的类别合并为「其他」
2. 优先用稀疏矩阵存储 one-hot 编码
3. 连续变量做分桶处理

同时影响干预和结果的变量（如用户活跃度）
预处理阶段用随机森林特征重要性排序
通过 DAG（有向无环图）检查变量关系

当实验组对照组样本量差异较大时：

# 计算倾向得分逆概率权重
from sklearn.linear_model import LogisticRegression

ps_model = LogisticRegression().fit(X, T)
weights = 1 / (ps_model.predict_proba(X)[:, 1] if T else ps_model.predict_proba(X)[:, 0])
cf.fit(X, T, y, sample_weight=weights)

# 绘制处理效应分布
import matplotlib.pyplot as plt

effects = cf.predict_effect(X)
plt.hist(effects, bins=30)
plt.xlabel('处理效应(分钟)')
plt.ylabel('用户数')
plt.show()

即使我们尽可能控制已知变量，现实中仍存在「未观测混杂因素」。比如用户情绪状态这种无法量化的数据。目前业界有两种应对思路：