基于CICIDS2018数据集的网络入侵检测实战：从特征工程到模型优化

1次阅读

共计 2852 个字符，预计需要花费 8 分钟才能阅读完成。

网络入侵检测系统（NIDS）在网络安全中扮演着至关重要的角色，而数据驱动的机器学习方法正逐渐成为主流。CICIDS2018 数据集作为业内广泛认可的基准数据集，包含了多种常见攻击类型（如 Brute Force、XSS、DDoS 等）和正常流量，是研究网络入侵检测的理想选择。然而，使用该数据集时我们会面临几个典型挑战：

样本不平衡问题 ：数据集中正常流量与攻击流量的比例高达 85:1，这种极端不平衡会导致模型倾向于预测多数类，忽视少数类（即攻击流量）。
高维特征空间 ：原始数据包含 300 多个特征，其中不少是高度相关或冗余的，这不仅增加了计算成本，还可能导致模型过拟合。
零日攻击识别困难 ：传统基于签名的检测方法无法有效识别未见过的攻击模式，而机器学习模型在遇到分布外样本时也常常表现不佳。

高维特征是网络流量数据的典型特点，但并非所有特征都对检测攻击有用。我们采用以下策略进行特征选择：

互信息初步筛选 ：首先计算每个特征与目标变量的互信息（Mutual Information），保留排名前 30% 的特征。互信息能够捕捉线性与非线性的关系，适合网络流量这种复杂数据。
递归特征消除（RFE）：在初步筛选的基础上，使用 XGBoost 作为基模型进行 RFE，进一步压缩特征空间。通过交叉验证确定最优特征数量，最终将特征维度从 300+ 降至 35。

针对样本不平衡问题，我们采用 SMOTE-ENN 混合采样策略：

SMOTE：在少数类样本之间进行插值，生成合成样本以平衡类别分布。
ENN（Edited Nearest Neighbours）：随后移除那些被多数类样本包围的合成样本，避免在决策边界引入噪声。

这种组合方法既能缓解类别不平衡，又能保持数据分布的清晰性。

我们对比了两种主流模型在测试集上的表现：

XGBoost：通过设置类别权重（scale_pos_weight 参数）和早停机制（early_stopping_rounds），在保证效率的同时获得较高准确率。
LSTM-Attention：利用 LSTM 捕捉流量序列的时间依赖性，并通过注意力机制突出关键时间点。虽然计算成本较高，但对某些攻击类型（如 DDoS）的检测效果更好。

通过 ROC 曲线对比发现，XGBoost 在整体性能上略胜一筹（AUC 0.98 vs 0.96），但 LSTM-Attention 在检测低频攻击（如 Web 攻击）时表现更稳定。

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectKBest, mutual_info_classif

# 自定义 Transformer 处理 IP 和端口特征
class IPPortTransformer(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self

    def transform(self, X):
        # 示例：提取源 IP 的哈希编码
        X['src_ip_hash'] = X['Source IP'].apply(lambda x: hash(x) % 1000)
        return X.drop(['Source IP', 'Destination IP'], axis=1)

# 完整 Pipeline
pipeline = Pipeline([('ipport', IPPortTransformer()),
    ('scaler', StandardScaler()),
    ('selector', SelectKBest(mutual_info_classif, k=100)),
    ('rfe', RFE(estimator=XGBClassifier(), n_features_to_select=35))
])

import xgboost as xgb
from sklearn.model_selection import train_test_split

# 划分数据集时确保分层抽样
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, stratify=y, random_state=42)

# 设置类别权重（根据样本比例自动计算）scale_pos_weight = len(y_train[y_train==0]) / len(y_train[y_train==1])

model = xgb.XGBClassifier(
    scale_pos_weight=scale_pos_weight,
    eval_metric='aucpr',  # 对不平衡数据 PR 曲线比 ROC 更敏感
    n_estimators=1000,
    early_stopping_rounds=50
)

model.fit(
    X_train, y_train,
    eval_set=[(X_val, y_val)],
    verbose=True
)

在实际项目中，我们总结了以下几个常见问题及解决方案：