网络安全实战：从零开始使用CICIDS2018数据集进行入侵检测分析

1次阅读

没有评论

共计 2763 个字符，预计需要花费 7 分钟才能阅读完成。

刚接触网络安全时，我发现大多数教程都停留在理论层面——告诉你什么是 DDoS 攻击、什么是端口扫描，但很少教你如何用真实数据检测这些攻击。自己抓包分析又面临三个难题：

网络环境单一，难以覆盖多种攻击场景
隐私和法律风险（你总不能在真实业务流量里植入恶意流量）
缺乏标注数据，无法验证检测效果

CICIDS2018 这类标准数据集的价值就在于：它模拟了真实网络环境（包括正常浏览、视频会议等背景流量），包含标注好的 7 类常见攻击（后文会详细说明），且完全合法合规。对初学者来说，这就像学做菜时有人备好了所有食材和调料。

这个数据集由加拿大网络安全研究所发布，包含 2018 年 7 月 2 日 - 6 日五天的网络流量，特点是：

攻击类型全面（按发生顺序排列）：
7 月 2 日：Brute Force（暴力破解）
7 月 3 日：Heartbleed（心脏滴血漏洞利用）
7 月 4 日：Botnet（僵尸网络）
7 月 5 日：DoS/DDoS（拒绝服务攻击）
7 月 6 日：Web 攻击（SQL 注入 /XSS 等）
数据格式：
原始 PCAP 文件（需用 Wireshark 查看）
预处理后的 CSV 文件（含 78 个流量特征）
推荐直接使用 CSV 版本，避免解析原始报文的复杂度
关键特征举例 （完整特征见官网文档）：
基础统计：流持续时间、包大小均值 / 方差
协议特征：TCP 标志位组合占比
行为特征：同一源 IP 的目标端口变化率

先安装必要库（建议使用 Jupyter Notebook）：

pip install pandas scikit-learn matplotlib

加载数据并快速检查：

import pandas as pd

# 加载数据（假设文件名为 Friday-WorkingHours.pcap.ISCX.csv）df = pd.read_csv('Friday-WorkingHours.pcap.ISCX.csv')

# 查看数据概览
print(f"总样本数: {len(df)}")
print("标签分布:\n", df['Label'].value_counts())

# 输出示例：# 总样本数: 1753411
# 标签分布:
# BENIGN           1366820
# DDoS              418851
# PortScan           158930
# ...

常见问题处理：

# 1. 处理缺失值
print("缺失值统计:\n", df.isnull().sum())
df = df.dropna()  # 简单处理：直接删除含缺失值的行

# 2. 标签标准化（原始标签含空格等特殊字符）df['Label'] = df['Label'].str.strip()

# 3. 特征选择（示例：剔除常数特征）from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0)
df_features = selector.fit_transform(df.iloc[:, :-1])  # 假设最后一列是标签

这里以随机森林为例（适合处理高维特征）：

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 准备数据（示例只使用部分数据加快速度）X = df_features[:50000]  # 特征矩阵
y = df['Label'].iloc[:50000]  # 标签

# 划分训练集 / 测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练模型
clf = RandomForestClassifier(n_estimators=50, max_depth=10, random_state=42)
clf.fit(X_train, y_train)

# 评估
preds = clf.predict(X_test)
print(classification_report(y_test, preds))

预期输出示例（数值仅供参考）：

              precision    recall  f1-score   support

    BENIGN       0.99      1.00      0.99     10542
       DDoS       0.98      0.96      0.97      3124
  PortScan       0.94      0.92      0.93      1567

    accuracy                           0.98     15233
   macro avg       0.97      0.96      0.96     15233
weighted avg       0.98      0.98      0.98     15233

数据不平衡问题
现象：BENIGN 样本占比超过 75%，模型可能直接全预测正常流量
解决：
- 欠采样（随机减少多数类）
- 过采样（SMOTE 算法生成少数类样本）
- 使用 class_weight 参数（如 RandomForest 的 class_weight=’balanced’）
特征工程误区
错误：直接使用所有 78 个特征
建议：
- 先剔除相关性 >0.95 的特征（减少计算量）
- 重点保留如Flow IAT Std（流间隔时间标准差）等区分度高的特征
评估指标选择
不要只看 accuracy！
对于入侵检测，更关注：
- Recall（避免漏报攻击）
- F1-score（平衡精确率和召回率）
时间序列特性忽略
原始数据是按时间记录的，随机划分可能造成数据泄露
正确做法：按时间划分训练集 / 测试集（如用前 4 天训练，最后 1 天测试）
环境配置问题
内存不足：可先用 df.sample(100000) 随机采样
版本冲突：推荐使用 Python 3.8+ 和 scikit-learn 1.0+