Autodl算力云数据盘清理实战指南：从基础操作到避坑技巧

1次阅读

没有评论

共计 1936 个字符，预计需要花费 5 分钟才能阅读完成。

在 Autodl 算力云上进行深度学习训练时，数据盘空间不足是一个常见问题。随着训练轮次的增加，中间生成的日志、临时文件和模型检查点会快速消耗存储空间。当剩余空间低于 5% 时，可能导致以下问题：

训练进程因无法写入新数据而中断
模型保存失败，损失训练进度
系统性能下降，IO 等待时间增加

手动清理存在两大风险：

误删关键文件（如训练中的模型权重）
遗漏大体积临时文件，清理不彻底

在终端执行以下命令查看各目录占用空间：

du -h --max-depth=1 /root/autodl-tmp | sort -hr

输出示例：

12G    /root/autodl-tmp/logs
8.4G   /root/autodl-tmp/checkpoints
1.2G   /root/autodl-tmp/datasets

建议按以下优先级清理：

过期日志文件（*.log）
旧的模型检查点（仅保留最近 3 个 epoch）
临时下载的压缩包（*.zip, *.tar.gz）
Jupyter notebook 的缓存（.ipynb_checkpoints）

关键命令：

# 删除 7 天前的日志
find /path/to/logs -name "*.log" -mtime +7 -exec rm {} \;

# 保留最近 3 个检查点
ls -t /path/to/checkpoints | tail -n +4 | xargs rm -f

推荐两种备份方式：

使用 Autodl 内置的持久化存储功能
通过 rsync 同步到本地开发机

rsync -avz --progress /root/autodl-tmp/important_data user@local_ip:/backup_path/

以下 Python 脚本实现自动化清理（建议保存为 clean_util.py）：

#!/usr/bin/env python3
import os
import time
from pathlib import Path

def clean_temp_files(root_path, days=7):
    """清理指定目录下超过特定天数的临时文件"""
    now = time.time()
    for dirpath, _, filenames in os.walk(root_path):
        for f in filenames:
            filepath = Path(dirpath) / f
            # 匹配临时文件模式
            if filepath.suffix in ('.tmp', '.swp', '.nfs'):
                try:
                    file_mtime = filepath.stat().st_mtime
                    if (now - file_mtime) > (days * 86400):
                        filepath.unlink()
                        print(f"Deleted: {filepath}")
                except Exception as e:
                    print(f"Error deleting {filepath}: {str(e)}")

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument("--path", default="/root/autodl-tmp")
    parser.add_argument("--days", type=int, default=7)
    args = parser.parse_args()

    print(f"Starting cleanup in {args.path}...")
    clean_temp_files(args.path, args.days)
    print("Cleanup completed")