ArcGIS月数据合成年数据的技术实现与性能优化

1次阅读

没有评论

共计 1731 个字符，预计需要花费 5 分钟才能阅读完成。

在气象、水文、环境监测等领域，我们经常需要处理按月存储的时空数据（如降雨量、温度等）。当进行年度趋势分析或制作年报时，就需要将 12 个月的观测数据合成为年度数据。这类需求看似简单，但实际会遇到三个典型问题：

数据量大：全国气象站点每月数据可能达百万级记录，直接全量加载容易内存溢出
时间对齐：不同月份的数据采集日期可能不一致（如 28 日 vs31 日）
统计方式：年数据可能是累加值（如降雨量）或平均值（如温度）

优点：
– 完全在 ArcGIS Pro 环境内完成
– 直接处理要素类和栅格数据
– 内置空间分析函数

缺点：
– 大数据量时性能较差
– 时间序列处理功能有限

优点：
– Pandas 的 resample()专为时间序列设计
– 可先聚合属性再关联空间数据
– 支持分块处理大数据

缺点：
– 需在 Jupyter 等环境切换
– 坐标系转换需要额外处理

# 在 ArcGIS Pro 中导出 CSV（含空间字段）arcpy.TableToTable_conversion(
    'monthly_data', 
    'C:/temp', 
    'export.csv',
    field_mapping='StationID;Value;ObsDate'
)

import pandas as pd
from datetime import datetime

# 读取时指定时间列
df = pd.read_csv('export.csv', parse_dates=['ObsDate'])

# 按站点 + 年份分组聚合
yearly = df.set_index('ObsDate').groupby([
    'StationID', 
    pd.Grouper(freq='A')  # 'A' 表示按年聚合
]).agg({'Value': 'sum'  # 降雨量用 sum，温度改用 mean}).reset_index()

# 重命名列并输出
yearly.columns = ['StationID', 'Year', 'AnnualTotal']
yearly.to_csv('yearly_result.csv', index=False)

# 将结果关联回原始空间数据
arcpy.JoinField_management(
    'stations.shp',
    'StationID',
    'yearly_result.csv',
    'StationID',
    ['AnnualTotal']
)

# 分块读取 CSV
chunksize = 100000
for chunk in pd.read_csv('huge_file.csv', chunksize=chunksize):
    process(chunk)  # 对每个块执行聚合

使用 dtype 参数指定列类型（如{'Value': 'float32'}）
聚合前用 df.dropna() 删除空值
禁用中间结果的索引to_csv(..., index=False)

时间基准问题
使用 pd.to_datetime() 统一时区
检查闰年 2 月数据（气象数据常用 02-28 作为年末）
坐标系转换
空间关联前确保 CSV 和 shp 的 StationID 类型一致
大批量数据建议先聚合再空间连接

异常处理

try:
    df['ObsDate'] = pd.to_datetime(df['ObsDate'], errors='coerce')
    df = df.dropna(subset=['ObsDate'])
except Exception as e:
    print(f"日期解析失败: {e}")