网络安全实战：深入解析CICIDS2017数据集及其在入侵检测中的应用

1次阅读

共计 2696 个字符，预计需要花费 7 分钟才能阅读完成。

CICIDS2017 数据集是加拿大网络安全研究所（CIC）发布的网络入侵检测基准数据集，包含正常流量和多种常见攻击类型（如 DDoS、Brute Force、Web 攻击等）。它的价值在于：

基于真实网络环境构建，流量特征更贴近实际
时间戳和完整会话记录支持时序分析
标记质量高，被 100+ 顶级论文引用

但开发者在实践中常遇到：

数据规模大：78 个 CSV 文件共约 300 万条记录，内存加载困难
特征维度高：80+ 原始特征包含冗余和噪声
样本不均衡：某些攻击类型样本量不足 1%
协议字段处理复杂：端口号、TCP 标志位等需要特殊编码

攻击类型	占比	典型特征
Benign	80.3%	规律性流量模式
Brute Force	6.2%	高频失败登录尝试
XSS	1.1%	异常 HTTP 参数
PortScan	8.9%	连续非常规端口访问

# 数值型特征
'Flow Duration', 'Total Fwd Packets', 'Total Length of Fwd Packets'

# 类别型特征 
'Protocol', 'Fwd PSH Flags', 'Label'

import pandas as pd
from sklearn.preprocessing import MinMaxScaler, LabelEncoder

# 内存优化加载
cols = ['Flow Duration', 'Protocol', 'Total Fwd Packets', 'Label']  # 示例选取关键特征
df = pd.read_csv('Monday-WorkingHours.csv', usecols=cols)

# 处理缺失值
df.dropna(inplace=True)

# 协议类型编码
le = LabelEncoder()
df['Protocol'] = le.fit_transform(df['Protocol'])

# 归一化
scaler = MinMaxScaler()
df[['Flow Duration', 'Total Fwd Packets']] = \
    scaler.fit_transform(df[['Flow Duration', 'Total Fwd Packets']])

# 样本均衡处理（示例：下采样多数类）from sklearn.utils import resample
df_majority = df[df.Label=='BENIGN']
df_minority = df[df.Label!='BENIGN']
df_majority_downsampled = resample(df_majority, 
                                 n_samples=len(df_minority),
                                 random_state=42)
df_balanced = pd.concat([df_majority_downsampled, df_minority])

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

# 划分数据集
X = df_balanced.drop('Label', axis=1)
y = df_balanced['Label']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# 训练模型
clf = RandomForestClassifier(n_estimators=100, max_depth=10)
clf.fit(X_train, y_train)

# 评估
from sklearn.metrics import classification_report
print(classification_report(y_test, clf.predict(X_test)))

基于重要性排序：

importances = clf.feature_importances_
indices = np.argsort(importances)[::-1]
for f in range(X.shape[1]):
    print(f"{X.columns[indices[f]]}: {importances[indices[f]]:.4f}")

递归特征消除：

from sklearn.feature_selection import RFECV
selector = RFECV(clf, step=1, cv=5)
selector.fit(X_train, y_train)
print("Optimal features:", X.columns[selector.support_])

使用 GridSearchCV 搜索最优参数组合：

param_grid = {'n_estimators': [50, 100, 200],
    'max_depth': [5, 10, None],
    'min_samples_split': [2, 5]
}
grid_search = GridSearchCV(clf, param_grid, cv=3)
grid_search.fit(X_train, y_train)
print("Best params:", grid_search.best_params_)