3D数据标注数据下载的自动化解决方案与性能优化实践

1次阅读

没有评论

共计 1691 个字符，预计需要花费 5 分钟才能阅读完成。

在 3D 数据标注项目中，数据下载往往成为整个流程中的瓶颈。常见的痛点包括：

网络延迟和不稳定：标注任务通常需要从远程服务器下载大量 3D 点云或网格数据（单文件可达 GB 级别），普通单线程下载速度慢且易中断。
存储管理复杂：不同版本的数据集可能包含重复文件，本地存储空间可能被无效数据占用。
人工干预频繁：下载失败后需要手动重新开始，严重影响团队效率。

我们对比了三种常见方案：

HTTP 直接下载：
优点：协议通用，适合小文件
缺点：大文件传输效率低，无断点续传
FTP：
优点：支持断点续传
缺点：配置复杂，现代云环境支持度下降
rsync：
优点：增量同步能力强
缺点：需要服务端配合，Windows 支持较弱

最终选择Python+ 多线程方案，因为：

requests 库支持 HTTP 范围请求（Range Header）
线程池可充分利用带宽
纯 Python 实现跨平台

通过 requests.get(headers={'Range': f'bytes={start}-{end}'}) 实现分块下载，每个线程负责固定字节范围。关键点：

先发送 HEAD 请求获取文件总大小
计算每个线程应下载的字节区间
使用 ThreadPoolExecutor 管理线程

设计要点：

为每个下载任务创建元数据文件（JSON 格式），记录：
文件 URL
已下载的字节范围
分块校验和
程序启动时检查现有临时文件
通过 open(file, 'ab') 以追加模式写入

实现策略：

使用 SHA-256 计算文件内容哈希
建立 文件哈希 → 存储路径 的索引
下载前先查询哈希库避免重复

import concurrent.futures
import hashlib
import os
from pathlib import Path
from typing import Optional

import requests

class Downloader:
    def __init__(self, cache_dir: str = './cache', max_workers: int = 8):
        self.cache_dir = Path(cache_dir)
        self.max_workers = max_workers
        self.cache_dir.mkdir(exist_ok=True)

    def download(self, url: str, dest: Path) -> bool:
        """返回是否成功下载（包括已有缓存）"""
        file_hash = self._get_remote_hash(url)
        if self._check_cache(file_hash):
            return True

        return self._parallel_download(url, dest, file_hash)

    def _parallel_download(self, url: str, dest: Path, expected_hash: str) -> bool:
        # 实现多线程分块下载（完整代码见 GitHub）pass

# 使用示例
dl = Downloader()
dl.download('https://example.com/data.obj', Path('local/data.obj'))

经验公式：线程数 = min(32, (带宽(Mbps) / 10) + 1)