AI模型分类全解析：从生成式AI到大模型与小模型的实战对比

1次阅读

没有评论

共计 1825 个字符，预计需要花费 5 分钟才能阅读完成。

AI 模型可以按功能或规模进行分类。按功能可分为生成式 AI 和判别式 AI：

生成式 AI：能够生成新的数据样本，如图像、文本或音频。它们学习数据的分布，然后生成类似的新数据。典型代表包括 GPT 系列、Stable Diffusion 等。
判别式 AI：主要用于分类或回归任务，学习输入数据与标签之间的映射关系。典型代表包括 ResNet、BERT 等。

按规模可分为大模型和小模型：

大模型 ：参数量通常在十亿级别以上，需要大量计算资源和数据训练，如 GPT-3、PaLM 等。
小模型 ：参数量在百万级别，适合资源受限的场景，如 MobileNet、TinyBERT 等。

大模型的核心是 Transformer 架构，其优势在于：

自注意力机制 ：能够捕捉长距离依赖关系，适合处理序列数据。
并行计算 ：Transformer 的并行性优于 RNN，训练效率更高。

但大模型也存在显存瓶颈：

显存占用高 ：例如 GPT- 3 的参数量达 1750 亿，单卡显存无法容纳，需采用模型并行或梯度检查点技术。
训练成本高 ：训练大模型需要数千张 GPU，成本可达数百万美元。

小模型通过以下技术优化资源使用：

知识蒸馏 ：用大模型作为教师模型，训练轻量级的学生模型。
量化：将模型参数从 FP32 转换为 INT8，减少存储和计算开销。
剪枝：移除冗余参数，降低模型复杂度。

边缘部署方案：

ONNX Runtime：支持跨平台部署，适合移动端和嵌入式设备。
TensorRT：针对 NVIDIA GPU 优化，提升推理速度。

特性	大模型（如 GPT-3）	小模型（如 MobileNet）
参数量	十亿级别以上	百万级别
训练成本	数百万美元	数千美元
推理延迟	高（秒级）	低（毫秒级）
适用场景	通用任务、复杂生成	边缘设备、实时推理

import torch
from transformers import GPT2LMHeadModel, GPT2Tokenizer

# 加载预训练模型
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')

# 启用梯度检查点（减少显存占用）model.gradient_checkpointing_enable()

# 示例推理
text = "生成式 AI 是指"
inputs = tokenizer(text, return_tensors='pt')
outputs = model.generate(**inputs, max_length=50)
print(tokenizer.decode(outputs[0]))

import torch
import torchvision.models as models
from torch.quantization import quantize_dynamic

# 加载预训练 MobileNet
model = models.mobilenet_v2(pretrained=True)
model.eval()

# 动态量化（减少模型大小）quantized_model = quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

# 导出为 ONNX 格式
dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(quantized_model, dummy_input, "mobilenet_quantized.onnx")