工业数据预处理实战：CAD/CAE参数的高效清洗与训练集构建

1次阅读

共计 2010 个字符，预计需要花费 6 分钟才能阅读完成。

工业领域 CAD/CAE 数据与常规数据相比存在显著差异，这些差异给数据预处理带来了独特挑战：

参数耦合性强：工业参数往往存在复杂的物理关联性，例如应力与应变、温度与热变形等参数间存在强耦合关系，直接单独处理会导致信息损失。
噪声类型复杂：除常规测量噪声外，还包含工况波动导致的系统性噪声、传感器漂移等，传统滤波方法效果有限。
单位体系混乱：不同数据源可能混用公制 / 英制单位（如 mm 与 inch），甚至存在单位缺失的情况。
非结构化数据多：CAD 模型参数、CAE 仿真结果常以非标准格式（如自定义文本、二进制文件）存储。

异常值检测是清洗的核心环节，针对工业数据特点推荐 IQR+ 物理规则双校验法：

import numpy as np

def industrial_outlier_detect(data, physics_rules=None):
    """
    工业数据异常值检测
    :param data: 待检测数据列
    :param physics_rules: 物理规则字典，如{'strain':(0,0.2)}
    """
    # IQR 统计方法
    q1, q3 = np.percentile(data, [25, 75])
    iqr = q3 - q1
    lower_bound = q1 - 1.5*iqr
    upper_bound = q3 + 1.5*iqr

    # 物理规则校验
    if physics_rules:
        for param, (min_val, max_val) in physics_rules.items():
            data = np.where((data < min_val) | (data > max_val), np.nan, data)

    return np.where((data < lower_bound) | (data > upper_bound), np.nan, data)

单位标准化：
构建单位转换字典（如 {'length': {'mm':0.001, 'inch':0.0254}}）
自动检测并转换到统一单位制
特征选择方法对比：
| 方法 | 适用场景 | 工业数据优势 |
|—————–|————————–|———————–|
| 互信息法 | 非线性关系 | 保留物理耦合特征 |
| 方差阈值 | 快速初筛 | 处理零方差传感器 |
| 递归特征消除 | 高维数据 | 兼容参数强相关性 |

针对工业数据采集成本高的问题，推荐改进的 SMOTE-NC 算法：

from imblearn.over_sampling import SMOTENC

# 假设前 3 列为连续变量，后 2 列为类别变量
smote_nc = SMOTENC(categorical_features=[3,4], 
                  k_neighbors=3,
                  random_state=42)
X_res, y_res = smote_nc.fit_resample(X, y)

物理量纲忽视：
错误做法：直接对力 (N) 和位移 (mm) 进行 PCA 降维
正确方案：先进行无量纲化处理
时域特征丢失：
典型错误：静态处理振动传感器数据
应对策略：增加 FFT 频域特征提取
过度清洗：
风险点：误删工况切换的瞬态数据
解决方案：结合设备日志标记特殊工况

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer

preprocessor = Pipeline([('unit_converter', UnitTransformer()),
    ('outlier_handler', RobustScalerWithLimit()),
    ('feature_selector', PhysicsAwareSelector()),
    ('augmentor', ConditionalSMOTE())
])

# 使用示例
X_processed = preprocessor.fit_transform(
    X_raw, 
    y=None,
    unit_rules=unit_config,
    physics_constraints=constraint_file
)

在某轴承故障预测项目中，不同预处理方法对 XGBoost 模型的 F1-score 影响：