如何利用3080算力进行深度学习入门：从环境搭建到第一个模型训练

1次阅读

没有评论

共计 3177 个字符，预计需要花费 8 分钟才能阅读完成。

NVIDIA RTX 3080 是一款面向高性能计算的显卡，特别适合深度学习任务。以下是它的关键参数：

CUDA 核心数：8704 个，提供强大的并行计算能力
Tensor Core：272 个第三代 Tensor Core，专门加速矩阵运算
显存：10GB GDDR6X
显存带宽：760GB/s，大幅减少数据搬运时间
基础频率：1440MHz，加速频率 1710MHz

这些特性使得 3080 在训练中等规模神经网络时表现出色，特别是支持混合精度训练时，Tensor Core 可以带来显著的加速效果。

首先确保安装了最新版 NVIDIA 驱动：

访问 NVIDIA 官网下载对应驱动
禁用 nouveau 驱动（Linux 系统需要）
运行安装程序

推荐安装 CUDA 11.3 及以上版本：

wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run
sudo sh cuda_11.3.0_465.19.01_linux.run

安装完成后，记得将 CUDA 路径加入环境变量。

cuDNN 是 NVIDIA 提供的深度学习加速库：

从 NVIDIA 开发者网站下载对应版本的 cuDNN
解压后复制到 CUDA 安装目录

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

下面是一个使用 PyTorch 和 3080 显卡的完整图像分类示例：

import torch
import torchvision
import torch.nn as nn
import torch.optim as optim

# 检查 GPU 是否可用
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f"Using device: {device}")

# 加载数据集
transform = torchvision.transforms.Compose([torchvision.transforms.ToTensor(),
    torchvision.transforms.Normalize((0.5,), (0.5,))
])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

# 定义简单 CNN 模型
class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = torch.flatten(x, 1)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 将模型移到 GPU
model = Net().to(device)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)

# 训练循环
for epoch in range(5):
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # 获取输入数据并移到 GPU
        inputs, labels = data[0].to(device), data[1].to(device)

        # 前向传播 + 反向传播 + 优化
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # 打印统计信息
        running_loss += loss.item()
        if i % 200 == 199:
            print(f'[{epoch + 1}, {i + 1:5d}] loss: {running_loss / 200:.3f}')
            running_loss = 0.0

print('Finished Training')

利用 3080 的 Tensor Core 进行混合精度训练可以大幅提升速度：

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()

for epoch in range(5):
    for data in trainloader:
        inputs, labels = data[0].to(device), data[1].to(device)

        optimizer.zero_grad()

        # 前向传播(混合精度)
        with autocast():
            outputs = model(inputs)
            loss = criterion(outputs, labels)

        # 反向传播
        scaler.scale(loss).backward()
        scaler.step(optimizer)
        scaler.update()

3080 的 10GB 显存可以支持较大的 batch size：