Autodl算力云实战教程：从零搭建高效深度学习训练环境

1次阅读

共计 3188 个字符，预计需要花费 8 分钟才能阅读完成。

Autodl 算力云作为国内主流的 GPU 租赁平台，最让我心动的就是它的三大核心能力：

弹性资源供给：按小时计费的 RTX3090/A100 实例，随时可扩缩容
开箱即用环境：预装 Ubuntu+CUDA+ 主流深度学习框架的镜像库
数据生态友好：内置网盘加速和学术资源代理，下载 PyTorch 模型像喝水一样简单

实际使用时发现几个高频痛点：

镜像配置玄学：CUDA 版本和 PyTorch 对不上时，报错信息堪比摩斯密码
数据传输龟速：100GB 数据集用 scp 传输，中途断连直接前功尽弃
资源调度黑洞：没做监控的任务可能悄悄吃掉超额算力费

# 基础镜像选择原则：CUDA 版本必须匹配 PyTorch 官方要求
FROM nvidia/cuda:11.3.1-cudnn8-runtime-ubuntu20.04

# 安装 Python 环境（建议使用 conda 隔离）RUN apt-get update && apt-get install -y wget git && \
    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && \
    bash Miniconda3-latest-Linux-x86_64.sh -b && \
    rm Miniconda3-latest-Linux-x86_64.sh

# 设置 conda 路径（必须写在 Dockerfile 里）ENV PATH="/root/miniconda3/bin:$PATH"

# 创建隔离环境并安装 PyTorch（注意版本对应关系）RUN conda create -n pt python=3.8 && \
    echo "conda activate pt" >> ~/.bashrc && \
    /bin/bash -c "source ~/.bashrc && pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113"

# 警告：不要随意使用 latest 标签！# 曾经有同学因为没固定版本号，结果自动升级后代码全部报错

#!/bin/bash
# 安全提示：执行前务必检查路径末尾的斜线！# 错误示例：rsync -avz /local/path user@remote:/path（会导致路径嵌套）data_dir="/home/user/dataset/"
remote_addr="user@autodl.com"
remote_path="/root/data/"

# 关键参数说明：# -P 显示进度且支持断点续传
# -e 指定 ssh 端口（Autodl 默认使用随机端口）# --delete 保持两端完全同步（谨慎使用）rsync -avzP \
    -e "ssh -p 12345" \
    $data_dir \
    $remote_addr:$remote_path

# 高级技巧：使用 fswatch 实现实时同步
# 需要先安装：conda install -c conda-forge fswatch
fswatch -o $data_dir | while read event; do
    rsync -avzP -e "ssh -p 12345" $data_dir $remote_addr:$remote_path
done &

import psutil
import time
from datetime import datetime

def log_resource_usage(interval=60):
    """
    监控 GPU 和内存使用情况
    建议：nohup python monitor.py > log.txt & 后台运行
    """
    while True:
        # 获取 GPU 信息（需要先安装 nvidia-ml-py3）try:
            import pynvml
            pynvml.nvmlInit()
            gpu_util = pynvml.nvmlDeviceGetUtilizationRates(pynvml.nvmlDeviceGetHandleByIndex(0)).gpu
            gpu_mem = pynvml.nvmlDeviceGetMemoryInfo(pynvml.nvmlDeviceGetHandleByIndex(0)).used
            pynvml.nvmlShutdown()
        except Exception as e:
            gpu_util, gpu_mem = -1, -1

        # 记录时间戳和资源数据
        timestamp = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        with open('usage.log', 'a') as f:
            f.write(f"{timestamp},"
                    f"CPU: {psutil.cpu_percent()}%,"
                    f"RAM: {psutil.virtual_memory().percent}%,"
                    f"GPU: {gpu_util}%,"
                    f"VRAM: {gpu_mem//1024**2}MB\n")

        time.sleep(interval)

if __name__ == '__main__':
    log_resource_usage()

用 nvidia-smi -l 1 实时监控显存占用
如果发现缓存未释放：
PyTorch 用户执行torch.cuda.empty_cache()
TensorFlow 用户设置config.gpu_options.allow_growth=True
终极方案：修改 batch_size + 使用 gradient_checkpointing

import fcntl
import time

class FileLock:
    def __init__(self, lockfile='/tmp/sync.lock'):
        self.lockfile = lockfile

    def __enter__(self):
        self.fd = open(self.lockfile, 'w')
        start_time = time.time()
        while True:
            try:
                # 非阻塞式获取锁
                fcntl.flock(self.fd, fcntl.LOCK_EX | fcntl.LOCK_NB)
                break
            except IOError:
                if time.time() - start_time > 300:  # 5 分钟超时
                    raise TimeoutError("获取文件锁超时")
                time.sleep(10)

    def __exit__(self, exc_type, exc_val, exc_tb):
        fcntl.flock(self.fd, fcntl.LOCK_UN)
        self.fd.close()

# 使用示例
with FileLock():
    rsync_data()  # 你的同步函数