基于CICIDS2017数据集的深度学习处理实战：从数据清洗到模型优化

1次阅读

没有评论

共计 2248 个字符，预计需要花费 6 分钟才能阅读完成。

CICIDS2017 是网络安全领域广泛使用的基准数据集，包含了正常网络流量和多种常见攻击类型（如 DDoS、Brute Force 等）。这个数据集的特点是规模大、特征维度高（78 个原始特征），但存在几个典型问题：

类别极度不平衡：正常流量占比超过 80%，而某些攻击类型样本不足 1%
特征量纲差异大：包含连续型数值特征（如数据包长度）和离散型特征（如协议类型）
存在噪声和缺失值：部分网络流量记录不完整

这些特点使得直接用原始数据训练深度学习模型效果往往不理想，需要系统的预处理和优化。

缺失值处理：
对于数值特征，采用同一类别的中位数填充
对于分类特征，使用众数填充
特征标准化：
连续型特征使用 RobustScaler（对异常值更鲁棒）
分类特征使用 One-Hot 编码
异常值处理：
基于 IQR 方法检测并剔除极端异常值

特征选择：
先计算特征互信息得分，保留前 50% 的特征
再用 PCA 降维到 20 维左右（保留 95% 方差）
特征构造：
基于领域知识构造新特征，如 ” 流持续时间 / 数据包数量 ”

对少数类样本使用 SMOTE 过采样
对多数类样本适当欠采样
最终使各类别样本量基本平衡

推荐使用 LSTM+Attention 架构，原因包括：

网络流量具有时序特性，LSTM 适合处理序列数据
Attention 机制能自动关注关键时间点的特征
相比纯 CNN 或传统 MLP，对长序列建模能力更强

import pandas as pd
from sklearn.impute import SimpleImputer

# 加载数据
data = pd.read_csv('CICIDS2017.csv')

# 缺失值处理
num_imputer = SimpleImputer(strategy='median')
cat_imputer = SimpleImputer(strategy='most_frequent')

num_cols = data.select_dtypes(include=['float64']).columns
cat_cols = data.select_dtypes(include=['object']).columns

data[num_cols] = num_imputer.fit_transform(data[num_cols])
data[cat_cols] = cat_imputer.fit_transform(data[cat_cols])

from sklearn.feature_selection import mutual_info_classif
from sklearn.decomposition import PCA

# 特征选择
X = data.drop('label', axis=1)
y = data['label']

mi_scores = mutual_info_classif(X, y)
selected_features = X.columns[mi_scores > np.median(mi_scores)]
X_selected = X[selected_features]

# PCA 降维
pca = PCA(n_components=0.95)
X_pca = pca.fit_transform(X_selected)

from tensorflow.keras.models import Model
from tensorflow.keras.layers import LSTM, Dense, Input, Attention

# LSTM+Attention 模型
inputs = Input(shape=(None, X_pca.shape[1]))
lstm_out = LSTM(64, return_sequences=True)(inputs)
attention = Attention()([lstm_out, lstm_out])
outputs = Dense(len(classes), activation='softmax')(attention)

model = Model(inputs=inputs, outputs=outputs)
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])