3090算力入门指南：从硬件配置到深度学习环境搭建

1次阅读

共计 2508 个字符，预计需要花费 7 分钟才能阅读完成。

NVIDIA RTX 3090 作为消费级旗舰显卡，拥有 10496 个 CUDA 核心、328 个 Tensor Core 和 82 个 RT Core，24GB GDDR6X 显存带来 936GB/ s 的带宽。相比上一代 2080Ti，FP32 性能提升约 1.5 倍（35.6 TFLOPS vs 13.4 TFLOPS），特别适合大模型训练和 4K/8K 视频渲染。三个关键优势：

大显存优势：24GB 容量可加载更大 batch size 的模型（如 BERT-large）
Tensor Core 加速：混合精度训练（FP16/FP32）速度提升 2 - 3 倍
PCIe 4.0 支持：数据传输带宽比 PCIe 3.0 翻倍

禁用 nouveau 驱动：

echo "blacklist nouveau" | sudo tee /etc/modprobe.d/blacklist-nvidia-nouveau.conf
sudo update-initramfs -u

从 NVIDIA 官网下载对应驱动（建议 510+ 版本）

安装后验证：

nvidia-smi  # 应显示 GPU 信息和驱动版本

wget https://developer.download.nvidia.com/compute/cuda/11.6.0/local_installers/cuda_11.6.0_510.39.01_linux.run
sudo sh cuda_11.6.0_510.39.01_linux.run

添加环境变量到~/.bashrc：

export PATH=/usr/local/cuda-11.6/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64:$LD_LIBRARY_PATH

官网下载对应 CUDA 版本的 cuDNN（需注册账号）

解压后复制文件：

sudo cp cuda/include/cudnn*.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

验证脚本：

import torch
print(torch.cuda.is_available())  # 应输出 True
print(torch.cuda.get_device_name(0))  # 应显示 "NVIDIA GeForce RTX 3090"

pip install tensorflow-gpu==2.9.1  # 匹配 CUDA 11.6

验证脚本：

import tensorflow as tf
print(tf.config.list_physical_devices('GPU'))  # 应显示 GPU 信息

import torch
import torchvision.models as models
import time

model = models.resnet50().cuda()
inputs = torch.randn(64, 3, 224, 224).cuda()  # batch_size=64

torch.cuda.synchronize()
start = time.time()
for _ in range(100):
    _ = model(inputs)
torch.cuda.synchronize()
print(f"Time per batch: {(time.time()-start)/100:.4f}s")

典型结果对比（FP32 精度）：
| 显卡型号 | Batch=64 耗时 | 显存占用 |
|———-|————–|———-|
| RTX 3090 | 0.042s | 18.3GB |
| RTX 2080Ti| 0.068s | 10.1GB |

解决方案：
减小 batch size

使用梯度累积（PyTorch 示例）：

for i, data in enumerate(dataloader):
    loss = model(data)
    loss.backward()
    if (i+1) % 4 == 0:  # 每 4 个 batch 更新一次
        optimizer.step()
        optimizer.zero_grad()

现象：Failed to initialize NVML: Driver/library version mismatch
解决步骤：
完全卸载原有驱动：
```
sudo apt-get purge nvidia*
```
重新安装匹配内核版本的驱动

混合精度训练（PyTorch 示例）：

from torch.cuda.amp import autocast, GradScaler
scaler = GradScaler()

with autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()