Python实战：如何用5分钟数据合成60分钟数据的高效方法

1次阅读

共计 2118 个字符，预计需要花费 6 分钟才能阅读完成。

在时间序列数据分析中，数据采样频率往往直接影响分析结果的准确性。有时我们手头只有低频的 5 分钟数据，但实际业务需要更高频率的 60 分钟数据。这时候就需要通过技术手段将低频数据合成高频数据。本文将介绍几种基于 Python 的高效方法，让你能够轻松应对这一挑战。

为什么需要合成高频数据
业务需求：某些分析模型需要更高频率的数据输入才能准确捕捉趋势变化
系统限制：某些老系统只能存储低频数据，但新业务需要高频数据
数据缺失：原始数据采集过程中可能存在部分时间段数据丢失
传统方法的局限性
简单重复填充：会导致数据失真，无法反映真实波动
均值填充：会平滑掉重要的波动特征
随机填充：缺乏理论基础，结果不可靠

线性插值
优点：实现简单，运算速度快
缺点：无法捕捉非线性趋势，在波动大的场景下效果差
三次样条插值
优点：能更好地拟合曲线变化
缺点：计算复杂度高，可能出现过度拟合
机器学习方法
优点：可以学习数据的内在规律，适应复杂场景
缺点：需要足够的历史数据进行训练，实现复杂度高

数据准备
使用 Pandas 读取原始 5 分钟数据
检查数据完整性和异常值
插值实现
使用 Pandas 的 interpolate 方法
设置合适的插值参数
机器学习方法实现
构建时间序列特征
选择合适的模型（如 LSTM、Prophet 等）
训练和验证模型
结果评估
使用 RMSE 等指标评估合成数据的质量
可视化对比原始数据和合成数据

import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 读取 5 分钟数据
df = pd.read_csv('5min_data.csv', parse_dates=['timestamp'], index_col='timestamp')

# 线性插值示例
def linear_interpolation(df, target_freq='60T'):
    resampled = df.resample(target_freq).asfreq()
    interpolated = resampled.interpolate(method='linear')
    return interpolated

# 机器学习方法示例
def ml_based_interpolation(df, target_freq='60T'):
    # 构建特征
    df['hour'] = df.index.hour
    df['day_of_week'] = df.index.dayofweek

    # 准备训练数据
    X = df[['hour', 'day_of_week']]
    y = df['value']

    # 训练模型
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
    model = RandomForestRegressor(n_estimators=100)
    model.fit(X_train, y_train)

    # 生成预测
    full_range = pd.date_range(start=df.index.min(), end=df.index.max(), freq=target_freq)
    predict_df = pd.DataFrame({'timestamp': full_range})
    predict_df['hour'] = predict_df['timestamp'].dt.hour
    predict_df['day_of_week'] = predict_df['timestamp'].dt.dayofweek

    predictions = model.predict(predict_df[['hour', 'day_of_week']])
    predict_df['value'] = predictions
    predict_df.set_index('timestamp', inplace=True)

    return predict_df

# 使用示例
linear_result = linear_interpolation(df)
ml_result = ml_based_interpolation(df)