1901-2020年降水数据集处理指南：从数据清洗到可视化分析

1次阅读

共计 1986 个字符，预计需要花费 5 分钟才能阅读完成。

1901-2020 年降水数据集作为典型的长时序气象数据，具有以下特征：

时空连续性：覆盖全球范围，时间分辨率通常为月 / 日级别
多源异构性：可能合并了卫星遥感、地面观测站和再分析数据
科研价值高：广泛应用于气候变化研究、农业灌溉规划、自然灾害预警等领域

数据完整性问题
历史观测设备故障、战争时期记录缺失等会导致数据空洞
计算效率瓶颈
120 年的日粒度数据量可达 TB 级，常规单机处理方法易内存溢出
时空分析复杂度
需要同时考虑地理空间相关性和时间序列特征

import pandas as pd
import numpy as np
from typing import Optional

def clean_precipitation(
    df: pd.DataFrame, 
    threshold: float = 1000.0  # 物理极值检查阈值(mm)
) -> pd.DataFrame:
    """
    降水数据清洗主函数
    :param df: 原始数据帧（需包含 ['date','lat','lon','precip'] 列）:param threshold: 降水物理上限值
    :return: 清洗后的 DataFrame
    """
    # 处理显式缺失值
    df_cleaned = df.replace(-9999, np.nan)

    # 处理隐式缺失（时间连续性检查）full_dates = pd.date_range(start='1901-01-01', end='2020-12-31')
    df_cleaned = df_cleaned.set_index('date').reindex(full_dates).reset_index()

    # 异常值过滤（基于物理可能范围）df_cleaned['precip'] = df_cleaned['precip'].clip(0, threshold)

    # 空间插值（最近邻法）df_cleaned['precip'] = df_cleaned.groupby(['lat','lon'])['precip'].transform(lambda x: x.interpolate(method='nearest')
    )

    return df_cleaned

import cartopy.crs as ccrs
import matplotlib.pyplot as plt

def plot_spatial_distribution(df: pd.DataFrame, year: int):
    """绘制指定年份的降水空间分布"""
    fig = plt.figure(figsize=(12, 6))
    ax = fig.add_subplot(111, projection=ccrs.PlateCarree())

    # 按经纬度网格聚合
    grid = df.groupby(['lat','lon']).mean().unstack()

    # 绘制填色图
    mesh = ax.pcolormesh(grid.columns.levels[1], 
        grid.index, 
        grid.values,
        transform=ccrs.PlateCarree(),
        cmap='Blues'
    )

    ax.coastlines()
    plt.colorbar(mesh, label='Precipitation (mm)')
    plt.title(f'Annual Precipitation - {year}')

from scipy import stats

def detect_trend(series: pd.Series) -> Optional[float]:
    """使用 Mann-Kendall 检验检测趋势"""
    if series.isna().any():
        series = series.interpolate()

    result = stats.mstats.theilslopes(series.values)
    return result[0]  # 返回斜率