CAIE人工智能研究院新手入门指南：从零搭建AI开发环境到第一个模型训练

1次阅读

没有评论

共计 3604 个字符，预计需要花费 10 分钟才能阅读完成。

刚接触 AI 开发的新手往往会遇到各种环境配置问题，这些问题可能成为学习道路上的绊脚石。以下是几个最常见的问题：

Python 版本冲突：不同项目可能需要不同版本的 Python，直接安装在系统上会导致版本混乱
CUDA 配置错误：GPU 加速需要正确安装 CUDA 和 cuDNN，版本不匹配会导致框架无法使用 GPU
依赖包冲突：各种 Python 包之间存在复杂的依赖关系，手动管理极易出现冲突
环境复现困难：在自己电脑上能运行的代码，换台机器就无法运行

conda 是一个开源的包管理和环境管理系统，可以创建隔离的 Python 环境，完美解决版本冲突问题。

每个项目可以创建独立的环境
可以指定 Python 版本
方便安装和管理各种依赖包

两大主流深度学习框架各有特点：

TensorFlow：
工业部署成熟
静态计算图（2.x 版本也支持动态图）
适合大规模生产环境
PyTorch：
研究社区更流行
动态计算图，调试方便
适合快速原型开发

对于新手，建议从 PyTorch 开始，因其 API 设计更直观，调试更方便。

Jupyter Notebook 是交互式开发的利器，但需要正确配置：

为每个项目创建独立的 kernel
合理使用 cell magic 命令
定期清理不需要的变量释放内存

安装 Miniconda（轻量版 Anaconda）

# 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh

# 按照提示完成安装
# 安装完成后需要重新加载 shell 配置
source ~/.bashrc

创建 conda 环境

# 创建名为 ai_env 的 Python3.8 环境
conda create -n ai_env python=3.8

# 激活环境
conda activate ai_env

安装 PyTorch（以 CUDA 11.3 为例）

conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

安装 Jupyter Notebook

conda install jupyter

# 为当前环境创建 Jupyter kernel
python -m ipykernel install --user --name=ai_env

以下是一个完整的 PyTorch 实现：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader

# 1. 数据准备
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

# 下载 MNIST 数据集
train_dataset = datasets.MNIST('./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST('./data', train=False, transform=transform)

# 创建数据加载器
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=1000, shuffle=False)

# 2. 模型定义
class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 10, kernel_size=5)
        self.conv2 = nn.Conv2d(10, 20, kernel_size=5)
        self.fc1 = nn.Linear(320, 50)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(torch.max_pool2d(self.conv1(x), 2))
        x = torch.relu(torch.max_pool2d(self.conv2(x), 2))
        x = x.view(-1, 320)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return torch.log_softmax(x, dim=1)

model = SimpleCNN()

# 3. 训练配置
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)
optimizer = optim.Adam(model.parameters(), lr=0.001)
criterion = nn.NLLLoss()

# 4. 训练循环
def train(epoch):
    model.train()
    for batch_idx, (data, target) in enumerate(train_loader):
        data, target = data.to(device), target.to(device)
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

        if batch_idx % 100 == 0:
            print(f'Train Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)}'
                  f'({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f}')

# 5. 测试函数
def test():
    model.eval()
    test_loss = 0
    correct = 0
    with torch.no_grad():
        for data, target in test_loader:
            data, target = data.to(device), target.to(device)
            output = model(data)
            test_loss += criterion(output, target).item()
            pred = output.argmax(dim=1, keepdim=True)
            correct += pred.eq(target.view_as(pred)).sum().item()

    test_loss /= len(test_loader.dataset)
    print(f'\nTest set: Average loss: {test_loss:.4f},'
          f'Accuracy: {correct}/{len(test_loader.dataset)}'
          f'({100. * correct / len(test_loader.dataset):.0f}%)\n')

# 6. 运行训练和测试
for epoch in range(1, 11):
    train(epoch)
    test()