3DGS世界模型：从原理到落地的技术解析与实践指南

1次阅读

没有评论

共计 1992 个字符，预计需要花费 5 分钟才能阅读完成。

传统 3D 场景表示方法主要有两种：

点云(Point Cloud)：离散采样，存储简单但缺乏表面连续性信息
多边形网格(Polygon Mesh)：显式表示表面，但难以处理复杂拓扑和动态细节

3D 高斯泼溅 (3D Gaussian Splatting, 3DGS) 的核心优势在于：

连续表示：通过高斯函数描述空间中的概率密度分布
可微分渲染：支持端到端训练优化
动态细节：可通过调整高斯参数适应不同精度需求
实时性能：现代 GPU 可高效并行计算

每个 3D 高斯由以下参数定义：

G(x) = \exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))

其中：
– $\mu$：均值(位置)
– $\Sigma$：协方差矩阵(形状 / 方向)

实际实现中常用缩放矩阵 $S$ 和旋转矩阵 $R$ 表示协方差：

\Sigma = RSS^TR^T

投影变换：将 3D 高斯投影到 2D 图像平面
alpha 混合：按深度顺序混合重叠的高斯
梯度回传：通过自动微分优化参数

class Gaussian:
    def __init__(self, position, scale, rotation, opacity, sh_coeff):
        self.position = position  # [3]
        self.scale = scale        # [3]
        self.rotation = rotation  # [4] quaternion
        self.opacity = opacity    # [1]
        self.sh_coeff = sh_coeff  # [n,3] spherical harmonics

def render_gaussians(view_matrix, proj_matrix, gaussians):
    # 1. 视锥体剔除
    visible_gaussians = frustum_culling(gaussians, view_matrix, proj_matrix)

    # 2. 按深度排序
    sorted_gaussians = depth_sort(visible_gaussians, view_matrix)

    # 3. 投影到 2D 并计算协方差
    cov2Ds = project_cov3d_to_2d(sorted_gaussians, view_matrix)

    # 4. Alpha 混合渲染
    image = torch.zeros(H, W, 3)
    for gaussian in sorted_gaussians:
        contrib = compute_pixel_contribution(gaussian, cov2Ds)
        image = alpha_composite(image, contrib)
    return image

并行化策略：
每个线程处理一个高斯
使用原子操作解决写入冲突
内存优化：
使用 SOA(Structure of Arrays)布局
压缩球谐系数

示例 CUDA 内核：

__global__ void project_gaussians(
    float3* positions,
    float4* rotations,
    float3* scales,
    float* opacities,
    /* other params */
) {
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx >= num_gaussians) return;

    // 投影计算...
}

class LODController:
    def update_lod(self, camera_pos):
        distances = compute_distance_to_camera(gaussians, camera_pos)
        for g in gaussians:
            g.active = distances[g.idx] < self.lod_threshold