网络安全入门实战：CICIDS2017数据集详解与入侵检测实践指南

1次阅读

共计 2358 个字符，预计需要花费 6 分钟才能阅读完成。

刚接触网络安全研究时，最头疼的就是找不到合适的实验数据。很多论文里用的 KDDCup99 数据集已经 20 多年了，里面的攻击模式早就不符合现代网络环境。直到发现了 CICIDS2017——这个由加拿大网络安全研究所发布的基准数据集，完美解决了三大痛点：

真实性：在真实网络环境中采集，包含正常办公流量和 7 类常见攻击
完整性：同时提供原始 PCAP 包和提取好的 80+ 维特征数据
时效性：模拟了现代网络中的 SSH 爆破、XSS、Heartbleed 等新型攻击

实验环境模拟了大学办公网的典型结构，主要包含这些组件：

攻击者主机：运行 Metasploit、Nmap 等工具
受害者网络：50 台 Win7/Win10 主机
边界设备：Cisco 防火墙和流量镜像交换机
采集节点：使用 CICFlowMeter 工具每 5 秒生成流量统计

攻击类型	典型特征	目标端口	数据包大小特征
BruteForce	高频次短连接	22/TCP	固定小包（<100B）
XSS	长 URL 含脚本标签	80/TCP	突发大包（>1500B）
DDoS	海量 ICMP 请求	任意	均匀小包（~64B）
PortScan	SYN 标志位集中爆发	多端口	固定小包（~60B）
Heartbleed	异常 TLS 心跳包	443/TCP	畸形大包（>65535B）
Botnet	定时心跳 + 随机流量	动态	大小包交替
Infiltration	FTP 协议嵌套可执行文件	21/TCP	尾部突发大包

下载解压后会看到两种核心数据：

原始流量：按日期分组的 PCAP 文件，适合用 Wireshark 分析
特征文件：每个连接提取了 83 维特征，包括：
基本特征：源 / 目的 IP、端口、协议
时序特征：流持续时间、包间隔统计
内容特征：TCP 窗口大小、载荷熵值

import pandas as pd
from sklearn.preprocessing import MinMaxScaler

# 1. 加载原始 CSV（注意处理中文路径问题）data = pd.read_csv('MachineLearningCSV/Monday-WorkingHours.pcap_ISCX.csv')

# 2. 处理特殊值：将 Infinity 替换为数值上限
data.replace([np.inf, -np.inf], np.nan, inplace=True)
data.fillna(data.max(), inplace=True)

# 3. 标签编码：将攻击类型转为数字
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
data['Label'] = le.fit_transform(data['Label'])

# 4. 特征归一化（避免某些特征主导模型）scaler = MinMaxScaler()
features = data.drop(['Label'], axis=1)
scaled_features = scaler.fit_transform(features)

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

# 划分训练集 / 测试集（注意时序分割）X_train, X_test, y_train, y_test = train_test_split(
    scaled_features, 
    data['Label'], 
    test_size=0.3, 
    shuffle=False  # 保持时间序列顺序
)

# 初始化模型（关键参数调优建议）model = RandomForestClassifier(
    n_estimators=100,
    max_depth=10,
    class_weight='balanced'  # 解决样本不均衡
)

# 训练与评估
model.fit(X_train, y_train)
print("测试集准确率:", model.score(X_test, y_test))

# 特征重要性分析
importances = pd.DataFrame({
    'feature': features.columns,
    'importance': model.feature_importances_
}).sort_values('importance', ascending=False)
print(importances.head(10))

很多初学者直接随机拆分数据集，会导致严重的 数据泄漏——用未来的数据训练模型。正确做法：

按时间戳排序后再划分
留出最后 20% 数据作为测试集
使用 TimeSeriesSplit 进行交叉验证

数据中正常流量占比超过 80%，直接训练会导致模型偏向多数类。推荐方案：

过采样少数类（SMOTE 算法）
调整类别权重（如代码中的 class_weight 参数）
采用 F1-score 代替准确率作为评估指标

维度	CICIDS2017	KDDCup99
攻击类型	现代 Web/ 网络层攻击	早期 DoS/Probe 攻击
特征工程	已提取 83 维流量特征	需手动处理 TCPdump 原始数据
环境真实性	真实办公网络镜像	模拟实验室环境