CGNS 多帧数据合成实战：从单帧到多帧的高效转换指南

1次阅读

共计 1559 个字符，预计需要花费 4 分钟才能阅读完成。

在工程仿真领域，CGNS（CFD General Notation System）是存储流体力学数据的标准格式。许多仿真软件（如 OpenFOAM、Fluent）会输出按时间步分割的单帧 CGNS 文件。但在分析瞬态现象时，我们往往需要将数百个单帧合并为连续的多帧数据集。

新手常遇到两大难题：

性能瓶颈 ：直接循环读取 / 写入文件时，I/ O 成为主要耗时环节
格式陷阱 ：不同 CGNS 版本间的数据结构差异导致合并失败

优点：开发便捷，适合快速原型验证
缺点：需处理 HDF5 底层细节

优点：性能最优
缺点：开发复杂度高

推荐 Python 方案因其：
1. 丰富的科学计算生态（NumPy 支持）
2. 跨平台一致性
3. 更易调试

import h5py

def read_single_frame(frame_path: str) -> dict:
    """读取单帧 CGNS 数据并返回字典结构"""
    try:
        with h5py.File(frame_path, 'r') as f:
            return {'coordinates': f['Base/Zone1/GridCoordinates'][:],
                'velocity': f['Base/Zone1/Solution/Velocity'][:]
            }
    except Exception as e:
        print(f"Error reading {frame_path}: {str(e)}")
        raise

采用 HDF5 的 chunked 存储：

根据数据维度计算最优 chunk size
启用压缩（推荐 blosc 过滤器）
预分配输出文件空间

from multiprocessing import Pool

def parallel_convert(frames_list: list, output_path: str):
    with h5py.File(output_path, 'w') as h5_out:
        # 预创建数据集
        with Pool() as p:
            results = p.map(process_frame, frames_list)

        # 合并结果
        for i, data in enumerate(results):
            h5_out[f'Step{i}/data'] = data

通过实测发现：

Chunk Size	写入速度 (MB/s)
1MB	120
4MB	210
16MB	180

推荐值为单个时间步数据量的 1 /4~1/2

检查 CGNS 库版本：

print(h5py.version.hdf5_version)  # 需≥1.10.0

对旧版文件使用 cgnsconvert 工具转换

使用 h5py 的 external links 功能
分批次处理（建议每批 50-100 帧）

监控内存使用：

import psutil
print(psutil.virtual_memory().percent)

import dask.array as da

# 创建虚拟数据集
arrays = [da.from_array(f['data'], chunks='auto') for f in frames]
combined = da.stack(arrays, axis=0)

# 分布式计算
combined.compute(scheduler='distributed')

处理 1GB 测试数据集（100 个时间步）：