基于Cassandra高程点数据生成三维地形的技术实现与优化

1次阅读

共计 3324 个字符，预计需要花费 9 分钟才能阅读完成。

在 GIS 和三维可视化领域，高程点数据是构建数字地形模型的基础。传统方案通常使用 PostgreSQL+PostGIS 组合，但随着数据量达到 TB 级别时，暴露出明显瓶颈：

写入吞吐量不足 ：单个 PostgreSQL 实例的写入速度通常不超过 50,000 点 / 秒
空间查询延迟高 ：即使使用 GiST 索引，在千万级点云中执行范围查询仍需数百毫秒
横向扩展困难 ：关系型数据库的分片方案复杂，且空间函数在分片环境下行为不一致

技术栈	写入吞吐量	空间查询性能	扩展性	运维复杂度
PostgreSQL	中等 (5 万点 / 秒)	中等	垂直扩展为主	高
MongoDB	高 (10 万点 / 秒)	较高	易水平扩展	中
Cassandra	极高 (20 万 +)	需要优化索引	天然分布式	低

Cassandra 的最终胜出得益于：
1. 线性写入扩展能力
2. 多数据中心部署支持
3. 无单点故障的架构设计

CREATE TABLE elevation_points (
    tile_id text,       -- 基于 Geohash 的前缀分片
    point_id timeuuid,  -- 唯一标识
    longitude double,
    latitude double,
    elevation float,
    attributes map<text, float>,  -- 扩展属性
    PRIMARY KEY ((tile_id), point_id)
) WITH compaction = {
    'class': 'TimeWindowCompactionStrategy',
    'compaction_window_unit': 'DAYS',
    'compaction_window_size': 1
};

分区策略说明 ：
– 使用 Geohash 前 4 位作为分区键 (tile_id)，确保空间临近点位于相同分区
– TimeUUID 保证同一分区内点的唯一性

from pyspark.sql.functions import udf
import geohash2

# Geohash 编码 UDF
@udf("string")
def geohash(lat, lon, precision=4):
    return geohash2.encode(lat, lon, precision)

# 读取原始 CSV
df = spark.read.csv("hdfs://elevation/raw/*.csv", 
                   schema="lat double, lon double, elev float")

# 数据预处理
processed = df.withColumn("tile_id", geohash(df.lat, df.lon)) \
              .withColumn("point_id", expr("uuid()")) \
              .select(
                  "tile_id",
                  "point_id",
                  col("lon").alias("longitude"),
                  col("lat").alias("latitude"),
                  col("elev").alias("elevation")
              )

# 写入 Cassandra
processed.write \
    .format("org.apache.spark.sql.cassandra") \
    .options(table="elevation_points", keyspace="gis") \
    .mode("append") \
    .save()

使用 CGAL 库实现并行化处理：

#include <CGAL/Exact_predicates_inexact_constructions_kernel.h>
#include <CGAL/Delaunay_triangulation_2.h>
#include <CGAL/Projection_traits_xy_3.h>

typedef CGAL::Exact_predicates_inexact_constructions_kernel K;
typedef CGAL::Projection_traits_xy_3<K>  Gt;
typedef CGAL::Delaunay_triangulation_2<Gt> Delaunay;

void process_tile(const std::vector<std::tuple<double,double,double>>& points) {
    std::vector<K::Point_3> cgal_points;
    for (const auto& [x,y,z] : points) {cgal_points.emplace_back(x, y, z);
    }

    Delaunay dt(cgal_points.begin(), cgal_points.end());
    // 导出三角网格...
}

优化技巧 ：
– 按 tile_id 分区并行处理
– 使用空间填充曲线对输入点排序
– 限制单个分区的点数量 (建议 <100 万)

生成 3DTiles 格式数据：

// tileset.json
{
  "asset": {"version": "1.0"},
  "geometricError": 500,
  "root": {
    "boundingVolume": {"region": [ -1.5, 0.5, -1.2, 0.6, 0, 1000]
    },
    "geometricError": 300,
    "refine": "ADD",
    "content": {"url": "0/0/0.b3dm"}
  }
}

前端加载代码：

const viewer = new Cesium.Viewer('cesiumContainer');
const tileset = viewer.scene.primitives.add(
    new Cesium.Cesium3DTileset({url: './tilesets/tileset.json'})
);

// LOD 控制
viewer.scene.screenSpaceCameraController.minimumZoomDistance = 100;
viewer.scene.screenSpaceCameraController.maximumZoomDistance = 1000000;

# cassandra.yaml 关键参数:
concurrent_writes: 32
memtable_allocation_type: offheap_objects
file_cache_size_in_mb: 4096
compaction_throughput_mb_per_sec: 64

使用 SASI 索引实现范围查询：

CREATE CUSTOM INDEX points_geo_idx ON elevation_points (longitude, latitude)
USING 'org.apache.cassandra.index.sasi.SASIIndex'
WITH OPTIONS = {
    'mode': 'SPARSE',
    'max_compaction_flush_memory_in_mb': 1024
};