3D高斯泼溅（3DGS）技术解析：当前SOTA方法的实现原理与优化策略

1次阅读

没有评论

共计 2066 个字符，预计需要花费 6 分钟才能阅读完成。

传统 3D 场景重建方法（如基于体素、点云或多视图立体）长期面临两大难题：

渲染质量与效率的矛盾：高精度 Mesh 需要复杂的光线追踪计算，而点云渲染又缺乏表面连续性
动态场景适应性差：传统方法通常假设场景静态，难以处理动态物体或视角变化

3DGS 通过以下创新突破这些限制：

将场景表示为可微分的高斯分布集合，兼具几何表达灵活性和数学可操作性
引入泼溅 (splatting) 渲染技术，实现高效的光栅化式渲染
通过梯度下降优化高斯参数，支持端到端训练

实测数据表明，相比 NeRF 类方法，3DGS 在相同质量下可实现：

指标	NeRF	3DGS
渲染速度(FPS)	0.5	60+
训练时间(h)	24	1.5
PSNR(dB)	28.4	31.2

每个高斯点由以下参数定义：

G(x) = exp(-0.5(x-μ)^TΣ^{-1}(x-μ))

其中：
– μ ∈ R³：中心位置
– Σ ∈ R^{3×3}：协方差矩阵（控制椭球形状）

实际实现中，Σ 通过旋转矩阵 R 和缩放矩阵 S 分解：

Σ = RSS^TR^T

投影变换：将 3D 高斯投影到 2D 图像平面
排序处理：按深度对高斯进行排序
Alpha 混合：从前到后混合高斯片段

关键公式：

C = ∑_{i∈N}c_iα_i∏_{j=1}^{i-1}(1-α_j)

典型 pipeline 包含以下模块：

graph TD
    A[输入图像] --> B[SFM 初始化]
    B --> C[高斯参数初始化]
    C --> D[可微分渲染]
    D --> E[损失计算]
    E --> F[梯度回传]
    F --> G[参数更新]
    G --> D
    D --> H[输出渲染]

class Gaussian:
    def __init__(self, position, rotation, scale, opacity, sh_coeff):
        self.position = nn.Parameter(position)  # [3]
        self.rotation = nn.Parameter(rotation)  # [4] quaternion
        self.scale = nn.Parameter(scale)        # [3] log scale
        self.opacity = nn.Parameter(opacity)    # [1] sigmoid
        self.sh_coeff = nn.Parameter(sh_coeff)  # [16,3] spherical harmonics

def render(gaussians, camera):
    # 1. 将高斯变换到相机坐标系
    view_matrix = camera.get_view_matrix()
    positions_cam = (view_matrix @ gaussians.position)

    # 2. 计算 2D 协方差
    W = quat_to_rot(gaussians.rotation)
    S = torch.diag_embed(torch.exp(gaussians.scale))
    cov3d = W @ S @ S.transpose(1,2) @ W.transpose(1,2)
    cov2d = project_cov3d_to_2d(cov3d, positions_cam)

    # 3. 光栅化
    return splat(cov2d, positions_cam, gaussians.sh_coeff, gaussians.opacity)

层级剪枝：定期移除贡献度低的高斯（opacity < 0.01）
量化压缩：对 SH 系数使用 8 -bit 量化（误差 <0.1%）

# 使用 PyTorch 的 torch.compile 加速
opt_gaussians = torch.compile(render, mode="max-autotune")

# 自定义 CUDA 内核处理排序
from torch.utils.cpp_extension import load
splat_kernel = load("fast_splat", sources=["splat.cu"])

问题现象	可能原因	解决方法
渲染出现孔洞	高斯密度不足	增加初始点密度 / 降低剔除阈值
训练发散	学习率过大	采用 cosine 衰减 LR 调度
边缘锯齿	2D 协方差矩阵病态	添加正则项约束特征值比例