CAIE人工智能研究院新手入门指南：从零搭建AI开发环境到第一个模型训练

1次阅读

没有评论

共计 3324 个字符，预计需要花费 9 分钟才能阅读完成。

刚进入 AI 领域的新手开发者，往往会在环境搭建阶段遇到诸多挑战。这些痛点不仅浪费时间，还可能打击学习积极性。以下是几个最常见的问题：

Python 版本冲突：不同项目可能要求不同的 Python 版本，系统默认版本与项目需求不匹配
CUDA 配置错误：GPU 加速需要正确安装 CUDA 和 cuDNN，版本不匹配会导致框架无法识别 GPU
依赖包冲突：不同项目依赖的库版本可能相互冲突，导致环境崩溃
环境复现困难：开发环境难以迁移或与他人共享，协作效率低下
框架选择困惑：面对 TensorFlow 和 PyTorch 两大主流框架，新手往往不知如何选择

conda 是 Python 环境管理的利器，它可以：

创建隔离的 Python 环境，避免版本冲突
方便地安装、更新和删除包
管理不同项目所需的不同环境

两个主流框架各有优势：

TensorFlow：
更适合生产环境部署
有更成熟的生态系统
静态计算图
PyTorch：
更灵活的调试体验
动态计算图
研究领域更受欢迎

在 conda 环境中安装 Jupyter
使用密码保护 Notebook
合理使用 cell magic 命令
定期保存 checkpoint

安装 Miniconda（轻量版 Anaconda）：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

创建并激活 conda 环境：

conda create -n ai_env python=3.8
conda activate ai_env

安装基础 AI 工具包：

conda install numpy pandas matplotlib scikit-learn

安装深度学习框架（以 PyTorch 为例）：

conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

import torch
import torchvision
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 1. 数据准备
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))
])

train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform)

train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

# 2. 模型定义
class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1)
        self.pool = nn.MaxPool2d(2, 2)
        self.fc1 = nn.Linear(64*7*7, 128)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = self.pool(torch.relu(self.conv1(x)))
        x = self.pool(torch.relu(self.conv2(x)))
        x = x.view(-1, 64*7*7)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = SimpleCNN()

# 3. 训练配置
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 4. 训练循环
def train(epoch):
    model.train()
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

        if batch_idx % 100 == 0:
            print(f'Train Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)}'
                  f'({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f}')

# 5. 测试评估
def test():
    model.eval()
    test_loss = 0
    correct = 0
    with torch.no_grad():
        for data, target in test_loader:
            output = model(data)
            test_loss += criterion(output, target).item()
            pred = output.argmax(dim=1, keepdim=True)
            correct += pred.eq(target.view_as(pred)).sum().item()

    test_loss /= len(test_loader.dataset)
    print(f'\nTest set: Average loss: {test_loss:.4f},'
          f'Accuracy: {correct}/{len(test_loader.dataset)}'
          f'({100. * correct / len(test_loader.dataset):.0f}%)\n')

# 6. 执行训练和测试
for epoch in range(1, 6):
    train(epoch)
    test()