CGNS多帧数据合成实战：从单帧到多帧的高效转换方案

1次阅读

共计 2215 个字符，预计需要花费 6 分钟才能阅读完成。

在 CFD 时间序列分析中，传统单帧 CGNS 文件会遇到两个主要问题：

IO 瓶颈 ：每次访问时间步都需要打开 / 关闭独立文件，5000 个时间步的仿真会产生至少 5000 次 IO 操作。实测显示，在 HDD 上读取 100MB 的单帧文件，90% 时间消耗在寻道和文件打开上
元数据碎片化 ：每个单帧独立存储 BCs、Zone 信息等元数据，既浪费存储空间，又导致跨时间步查询时需要反复解析重复内容

测试环境：TB 级翼型瞬态仿真数据（3000+ 时间步）

方案	吞吐量 (MB/s)	内存峰值 (GB)	元数据完整性
h5py 高层接口	120	3.2	部分丢失
PyCGNS 标准库	85	4.8	完整保留
HDF5 底层 API（本文）	310	1.5	完整保留

使用 HDF5 的 chunked storage 时，关键是要匹配硬件存储单元大小：

对于 NVMe SSD：设置 chunk size 为 1MB（对应闪存页大小）
对于机械硬盘：采用 4MB chunks（匹配磁盘扇区）

def optimize_chunk(flow_field: np.ndarray, device_type: str) -> tuple:
    """根据硬件类型返回最佳 chunk 形状"""
    if device_type == 'ssd':
        return (1, *flow_field.shape[1:])
    else:
        return (4, *flow_field.shape[1:])

通过 VDS 实现逻辑上的时间序列，实际数据仍分散存储：

创建时间维度为 UNLIMITED 的可扩展数据集
用 h5py.VirtualSource 映射物理存储位置
设置时间步长为缩放维度（scale offset）

关键是要处理 CGNS 树的层级关系：

将重复的 Base/Zone 节点提升到根组
使用 HDF5 的 attribute 特性存储时间步变化项
对 BCs 等特殊节点采用软链接引用

class CGNSMerger:
    def __init__(self, output_path: Path):
        self._lock = mp.Lock()
        self.h5 = h5py.File(output_path, 'w', libver='latest')

    @contextmanager
    def transaction(self):
        """出现异常时回滚的上下文管理器"""
        try:
            yield
        except Exception as e:
            self.h5.close()
            output_path.unlink()
            raise

    def add_timestep(self, cgns_path: Path, step: int):
        with self._lock, h5py.File(cgns_path, 'r') as src:
            # 此处实现具体的字段合并逻辑
            self._transfer_flowfield(src, step)
            self._update_timestamp(src, step)

    def _transfer_flowfield(self, src: h5py.File, step: int):
        """处理流速场数据，含 CFD 特定参数解释"""
        # Rho: 密度场 [kg/m^3]
        # U: 速度矢量 [m/s] 
        # P: 静压 [Pa]
        flow_data = src['Base/Zone/FlowSolution'][:]

        if step == 0:  # 首次写入需创建数据集
            self.h5.create_dataset(
                name='FlowField',
                shape=(1, *flow_data.shape),
                maxshape=(None, *flow_data.shape),
                chunks=self.optimize_chunk(flow_data),
                dtype=np.float64
            )
        else:
            self.h5['FlowField'].resize(step+1, axis=0)

        self.h5['FlowField'][step] = flow_data

存储设备	块大小	线程数	速度 (MB/s)
NVMe SSD	1MB	4	680
SATA SSD	2MB	2	320
HDD	4MB	1	95

设置 h5py.File 的 rdcc 参数优化页缓存
对瞬态数据启用压缩过滤器（推荐 blosc+lz4）
大数组操作时使用 np.memmap 避免 OOM

解决方案是在写入时记录实际物理时间：

# 在全局属性中存储时间映射表
self.h5.attrs['TimestepMap'] = json.dumps({"simulation_time": [0.1, 0.21, 0.34,...],  # 实际物理时间
    "steps": [0, 1, 2,...]                      # 对应步数
})

当遇到动态网格时，需要：