AI大模型都是生成式人工智能吗？从原理到分类的深度解析

1次阅读

共计 1599 个字符，预计需要花费 4 分钟才能阅读完成。

在电商客服系统开发中，曾有团队误将 BERT 模型用于回复生成场景，导致只能输出短短语而非完整句子。另一个案例是使用 GPT- 3 进行文本分类时，发现模型倾向于生成冗余内容而非直接判断类别。这两个问题都源于对模型类型的理解偏差。

概率生成机制：通过自回归方式逐个预测 token，如 GPT 系列使用 Transformer 解码器结构
序列生成能力：可创建训练数据中未出现过的新内容组合
训练目标差异：采用语言建模损失（如交叉熵）最大化序列概率

掩码语言模型(MLM)：BERT 通过预测被遮蔽的 token 来学习上下文表示
分类导向设计：输出层通常连接 softmax 进行分类任务
双向上下文编码：相比生成模型的单向处理更具上下文感知力

特征	生成式模型(GPT-3)	判别式模型(BERT)
主要架构	Transformer 解码器堆叠	Transformer 编码器堆叠
典型应用	文本生成、对话系统	文本分类、实体识别
训练目标	语言模型概率最大化	掩码 token 预测准确率
推理方式	自回归采样	前向传播计算
输入输出关系	序列到序列	序列到标签

# 生成式模型调用示例(GPT-3)
from transformers import GPT2LMHeadModel, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')
inputs = tokenizer("人工智能是指", return_tensors="pt")

generation_config = {
    'max_length': 50,
    'do_sample': True,  # 启用概率采样
    'top_k': 50         # 限制候选 token 数量
}
outputs = model.generate(**inputs, **generation_config)
print(tokenizer.decode(outputs[0]))

# 判别式模型调用示例(BERT)
from transformers import BertForSequenceClassification, BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

inputs = tokenizer("这个电影很好看", return_tensors="pt")
outputs = model(**inputs)
predictions = outputs.logits.argmax(-1)  # 直接获取分类结果
print(f"分类结果: {predictions.item()}")