3DGS合成数据集入门指南：从零构建高质量训练数据

1次阅读

共计 2185 个字符，预计需要花费 6 分钟才能阅读完成。

3D 高斯泼溅（3D Gaussian Splatting，简称 3DGS）是一种新兴的 3D 场景表示和渲染技术，它通过大量高斯分布的点来表示 3D 场景。与传统方法相比，3DGS 能够实现更高质量的渲染效果和更快的渲染速度。然而，要让 3DGS 模型发挥最佳性能，首先需要准备高质量的合成数据集。

3DGS 对训练数据有几个特殊要求：

需要密集的多视角图像，通常需要从几十到上百个不同角度拍摄同一场景
每张图像需要精确的相机参数（内参和外参）
最好能提供深度信息和其他几何信息（如法线图）
场景中的光照条件应尽可能丰富多样

构建 3DGS 数据集的第一步是创建或获取 3D 场景。对于新手，我推荐以下几种工具：

Blender：免费开源，拥有强大的建模和渲染功能，社区资源丰富
Unity：游戏引擎，适合创建复杂场景，提供实时渲染
Maya：专业级 3D 建模软件，功能全面但学习曲线较陡

对于入门者，Blender 是最佳选择。它不仅免费，还有大量教程和插件支持。

相机设置是 3DGS 数据集的关键部分。你需要：

确定相机内参（焦距、主点、畸变参数）
设计相机轨迹，确保覆盖场景所有重要部分
设置合理的采样密度

一个好的实践是使用螺旋式相机轨迹，从多个高度和角度拍摄场景。在 Blender 中，可以通过 Python 脚本自动生成这样的相机路径。

光照对 3DGS 训练至关重要。建议：

使用 HDR 环境贴图实现真实光照
尝试不同方向的主光源
包含阴影变化
考虑使用基于物理的渲染（PBR）材质

常见的数据格式有：

COCO：通用性强，但不太适合 3D 场景数据
KITTI：包含深度信息，适合自动驾驶场景
自定义格式 ：通常最适合 3DGS

对于 3DGS，建议使用自定义 JSON 格式存储相机参数和元数据，图像保存为 PNG 或 JPEG。

除了 RGB 图像，3DGS 还受益于：

深度图：可以从渲染器直接输出
法线图：反映表面朝向
分割图：区分不同物体

在 Blender 中，可以通过设置不同的渲染通道来获取这些信息。

import bpy
import math
import os

# 设置输出目录
output_dir = "/path/to/output"
if not os.path.exists(output_dir):
    os.makedirs(output_dir)

# 相机参数
num_views = 50
radius = 5.0
height = 2.0

# 创建螺旋形相机轨迹
for i in range(num_views):
    # 计算相机位置
    theta = 2 * math.pi * i / num_views
    x = radius * math.cos(theta)
    y = radius * math.sin(theta)
    z = height * (i / num_views)

    # 设置相机位置和朝向
    bpy.context.scene.camera.location = (x, y, z)
    bpy.context.scene.camera.rotation_euler = (math.pi/2, 0, theta + math.pi/2)

    # 渲染并保存
    bpy.context.scene.render.filepath = f"{output_dir}/frame_{i:04d}.png"
    bpy.ops.render.render(write_still=True)

import cv2
import numpy as np

def augment_image(img, depth):
    # 随机亮度调整
    brightness = np.random.uniform(0.8, 1.2)
    img = np.clip(img * brightness, 0, 255).astype(np.uint8)

    # 随机添加噪声
    noise = np.random.normal(0, 5, img.shape).astype(np.uint8)
    img = cv2.add(img, noise)

    # 随机小幅度旋转
    angle = np.random.uniform(-5, 5)
    h, w = img.shape[:2]
    M = cv2.getRotationMatrix2D((w/2, h/2), angle, 1)
    img = cv2.warpAffine(img, M, (w, h))
    depth = cv2.warpAffine(depth, M, (w, h))

    return img, depth

合成数据虽然可控，但与真实数据存在差距。建议：