AMD显卡微调大模型实战指南：从环境配置到性能优化

1次阅读

共计 2339 个字符，预计需要花费 6 分钟才能阅读完成。

现在做 AI 训练，NVIDIA 的显卡几乎成了标配，尤其是 CUDA 生态的成熟让很多开发者直接忽略了 AMD 显卡的可能性。但实际情况是，AMD 显卡性价比更高，特别是大显存型号对预算有限的开发者很有吸引力。不过想用 AMD 显卡跑大模型，确实会遇到几个头疼的问题：

ROCm 支持度不足：PyTorch 对 AMD 显卡的官方支持直到最近才逐步完善，部分算子仍需要手动优化
显存管理差异：AMD 的显存分配机制与 CUDA 不同，容易遇到内存碎片问题
工具链不熟悉：从驱动安装到性能调优，整个工具链与 NVIDIA 生态差异较大

推荐使用 Ubuntu 22.04 LTS，这是目前 ROCm 支持最完善的发行版。下面是具体步骤：

安装 ROCm（需要 sudo 权限）

sudo apt update && sudo apt install rocm-opencl-runtime

验证安装

/opt/rocm/bin/rocminfo | grep 'Agent\|Marketing'

安装 PyTorch with ROCm 支持

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6

报错 ”HIP Error”：通常是权限问题，尝试将用户加入 video 组：
```
sudo usermod -a -G video $USER
```
找不到设备：检查是否加载了 amdgpu 内核模块：
```
lsmod | grep amdgpu
```

使用 bitsandbytes 库可以显著减少显存占用：

from transformers import AutoModelForCausalLM
import bitsandbytes as bnb

model = AutoModelForCausalLM.from_pretrained(
    "facebook/opt-1.3b",
    load_in_8bit=True,  # 关键参数
    device_map="auto"
)

AMD 显卡的 FP16 性能很强，但需要注意：

在训练脚本中添加：
```
torch.backends.amp.enabled = True
```

对于 RDNA3 架构（如 RX 7900 系列），建议设置：

torch.backends.cuda.matmul.allow_tf32 = True  # 启用 TensorFloat-32

针对 RDNA 架构调整这些参数能提升 10-15% 性能：

torch.set_float32_matmul_precision('high')  # 矩阵计算精度设置
os.environ["HIP_LAUNCH_BLOCKING"] = "1"    # 调试时使用

from transformers import Trainer, TrainingArguments
from peft import LoraConfig, get_peft_model
import torch

def print_gpu_utilization():
    # 显存监控函数
    print(f"显存占用: {torch.cuda.memory_allocated() / 1024**2:.2f} MB")

# LoRA 配置
lora_config = LoraConfig(
    r=8,               # 低秩矩阵的维度
    lora_alpha=32,     # 缩放系数
    target_modules=["q_proj", "v_proj"],  # 需要适配的模块
    lora_dropout=0.05, # Dropout 率
    bias="none"        # 是否训练 bias 参数
)

model = get_peft_model(model, lora_config)
print_gpu_utilization()

training_args = TrainingArguments(
    output_dir="./results",
    fp16=True,          # 启用混合精度
    gradient_accumulation_steps=4,  # 梯度累积
    per_device_train_batch_size=2,  # 批大小
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset
)

trainer.train()

在 RX 7900 XT 上测试 OPT-1.3b 模型的吞吐量（tokens/second）：