如何优化AutoDL上传大数据集速度：分片上传与断点续传实战

1次阅读

没有评论

共计 1535 个字符，预计需要花费 4 分钟才能阅读完成。

上传大型数据集到 AutoDL 平台时，开发者常遇到以下瓶颈：

单线程传输效率低下，无法充分利用带宽
网络波动导致传输中断后需要重新上传
大文件直接上传容易触发内存溢出
缺乏校验机制可能导致数据损坏

优点：并行传输提高速度，失败后只需重传特定分片
缺点：需要服务端支持分片合并

优点：网络中断后可继续传输
缺点：需要记录传输状态

优点：减少传输数据量
缺点：增加 CPU 消耗，可能影响整体速度

def split_file(file_path, chunk_size=50*1024*1024):
    """将文件分割为指定大小的分片"""
    with open(file_path, 'rb') as f:
        chunk_id = 0
        while True:
            chunk_data = f.read(chunk_size)
            if not chunk_data:
                break
            yield chunk_id, chunk_data
            chunk_id += 1

from concurrent.futures import ThreadPoolExecutor

def upload_chunks(api_endpoint, file_path, max_workers=4):
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        futures = []
        for chunk_id, chunk_data in split_file(file_path):
            future = executor.submit(
                upload_single_chunk,
                api_endpoint,
                chunk_id,
                chunk_data
            )
            futures.append(future)

        # 等待所有分片完成
        for future in futures:
            future.result()

import hashlib

def generate_md5(chunk_data):
    """生成分片 MD5 校验码"""
    return hashlib.md5(chunk_data).hexdigest()

# 上传时附带校验码
headers = {'Content-MD5': generate_md5(chunk_data),
    'Chunk-ID': str(chunk_id)
}

import json
import os

# 记录上传状态
def save_progress(file_path, uploaded_chunks):
    with open(f'{file_path}.progress', 'w') as f:
        json.dump({'uploaded': list(uploaded_chunks)
        }, f)

# 读取断点
if os.path.exists(progress_file):
    with open(progress_file) as f:
        progress = json.load(f)
    uploaded_chunks = set(progress['uploaded'])