网络安全实战：深入解析CICIDS2017数据集及其在入侵检测中的应用

1次阅读

没有评论

共计 2018 个字符，预计需要花费 6 分钟才能阅读完成。

CICIDS2017 数据集是加拿大网络安全研究所发布的网络入侵检测基准数据集，它模拟了真实的网络环境，包含多种常见攻击类型（如 DDoS、端口扫描等）和正常流量。这个数据集在学术界和工业界被广泛用于评估入侵检测系统的性能。

然而，许多开发者在实际使用过程中经常遇到以下问题：

数据量庞大（约 3 百万条记录），直接加载和处理对内存要求高
特征维度高（78 个原始特征），需要专业的特征工程知识
类别不平衡问题严重（正常流量占比约 80%）
网络流量数据的时序特性难以有效捕捉

CICIDS2017 数据集采用 CSV 格式存储，每条记录代表一个网络流（flow），包含以下主要特征类别：

基本流统计：持续时间、数据包数量等
协议相关特征：TCP/UDP 标志位统计
时间特征：流开始 / 结束时间
内容特征：数据包大小统计

数据集包含 8 种主要攻击类型：

Brute Force（暴力破解）
Heartbleed（心脏出血漏洞利用）
Botnet（僵尸网络）
DoS/DDoS（拒绝服务攻击）
Web 攻击（如 SQL 注入）
端口扫描
渗透测试
正常流量

以下 Python 代码演示了如何高效加载和处理 CICIDS2017 数据：

import pandas as pd
from sklearn.preprocessing import LabelEncoder, MinMaxScaler

# 内存优化加载
def load_data(filepath):
    dtypes = {
        'Flow Duration': 'int32',
        'Total Fwd Packets': 'int16',
        # 其他字段类型定义...
    }
    return pd.read_csv(filepath, dtype=dtypes)

# 数据清洗
def clean_data(df):
    # 处理缺失值
    df.dropna(inplace=True)

    # 删除无关列
    df.drop(['Flow ID', 'Source IP', 'Destination IP'], axis=1, inplace=True)

    # 标签编码
    le = LabelEncoder()
    df['Label'] = le.fit_transform(df['Label'])

    return df

网络流量数据的特征提取是关键步骤：

from sklearn.feature_selection import SelectKBest, f_classif

# 特征选择
def select_features(X, y, k=20):
    selector = SelectKBest(score_func=f_classif, k=k)
    X_new = selector.fit_transform(X, y)
    return X_new, selector

# 特征缩放
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)

使用 Scikit-learn 构建随机森林分类器：

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

# 数据分割
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, stratify=y)

# 模型训练
rf = RandomForestClassifier(
    n_estimators=100,
    max_depth=10,
    class_weight='balanced')
rf.fit(X_train, y_train)

# 评估
print("Accuracy:", rf.score(X_test, y_test))