CitySim数据集入门指南：从数据加载到可视化分析的完整实践

1次阅读

共计 1996 个字符，预计需要花费 5 分钟才能阅读完成。

第一次接触 CitySim 数据集时，我完全被它的 HDF5 格式搞懵了。这种二进制格式虽然存储效率高，但直接打开就像面对一个黑盒子——根本不知道里面装着什么数据结构。更麻烦的是，原始数据里经常混杂着 GPS 漂移点、传感器异常值等噪声，直接分析会导致结果严重失真。

HDF5 访问难题：没有可视化工具时，需要反复查阅文档才能理解层级结构
内存杀手：单次加载全量交通流数据可能耗尽 16GB 内存
噪声陷阱：原始数据中存在 -9999 这样的占位符和明显超出物理规律的异常值

在处理这种 GB 级时空数据时，我对比了三种常用工具：

Pandas：适合中小数据集，但加载超过内存的数据会直接崩溃
Dask：分布式计算框架，可以处理超内存数据但学习曲线陡峭
Vaex：内存映射技术，零内存复制处理超大文件

新手建议 ：从 Pandas 开始，当遇到MemoryError 时再考虑 Vaex。以下是内存占用实测对比（加载 1GB 交通流数据）：

工具	加载时间	内存占用
Pandas	8.2s	2.1GB
Vaex	3.5s	0.3GB
Dask	6.8s	1.2GB

用 h5py 探索数据就像拆俄罗斯套娃，关键要理解层级关系：

import h5py

with h5py.File('citysim.h5', 'r') as f:
    # 查看顶层分组
    print(list(f.keys()))  # ['traffic', 'buildings', 'metadata']

    # 深入交通数据组
    traffic = f['traffic']
    print(f'时间步数: {traffic["timestamps"].shape[0]}')
    print(f'传感器数量: {traffic["sensor_ids"].shape[0]}')

处理异常值时，我发现 query() 比loc[]快 3 倍以上，特别是在百万级数据时：

# 慢方法：链式 loc 筛选
clean_df = df.loc[df['speed'] > 0].loc[df['speed'] < 120]

# 快方法：单次 query
clean_df = df.query('0 < speed < 120')

避坑提示 ：记得先处理缺失值，否则比较运算会返回False 而非NaN。

用 Seaborn 绘制时，颜色映射选 vlag 比默认的 viridis 更能突出拥堵差异：

import seaborn as sns

# 创建 24 小时 x100 传感器的流量矩阵
flow_matrix = df.pivot_table(index='hour', 
                             columns='sensor_id',
                             values='volume',
                             aggfunc='sum')

plt.figure(figsize=(12, 6))
sns.heatmap(flow_matrix, cmap='vlag', 
           cbar_kws={'label': '车流量'})
plt.title('城市交通流量时空分布')
plt.tight_layout()

PyVista 的 extrude() 方法可以将 2D 轮廓变成立体模型：

import pyvista as pv

# 从 GeoJSON 加载建筑轮廓
buildings = pv.read('buildings.geojson')

# 按高度挤出 3D 模型
buildings_3d = buildings.extrude([0, 0, 1], 
                                capping=True)

plotter = pv.Plotter()
plotter.add_mesh(buildings_3d, color='tan')
plotter.show()

分块处理：不要试图一口吃成胖子

chunksize = 100000
for chunk in pd.read_hdf('data.h5', 
                        key='traffic',
                        chunksize=chunksize):
    process(chunk)