从BERT到LLM：深入解析预训练语言模型的演进关系与实战入门

1次阅读

共计 2416 个字符，预计需要花费 7 分钟才能阅读完成。

对于刚接触 NLP（Natural Language Processing，自然语言处理）的新手来说，BERT（Bidirectional Encoder Representations from Transformers）和大语言模型（LLM，Large Language Model）这两个概念常常让人感到困惑。很多人误以为 BERT 就是 LLM 的一种，或者认为它们的技术原理完全相同。这种认知误区在实际应用中会导致模型选型不当，影响任务效果。

常见认知误区：
认为 BERT 和 GPT（Generative Pre-trained Transformer）是同一类模型
混淆双向编码（Bidirectional）和自回归生成（Autoregressive）的概念
忽视预训练目标（Pre-training Objective）对下游任务的影响
实际业务场景中的困惑：
文本分类任务是否可以用 GPT- 3 代替 BERT？
生成式任务是否适合用 BERT 完成？
如何根据计算资源选择合适的模型尺寸？

BERT 和 GPT 系列模型虽然在底层都使用了 Transformer 架构，但它们在模型设计、训练目标和应用场景上有显著差异。

维度	BERT	GPT-3
模型类型	Encoder-only	Decoder-only
训练目标	MLM（Masked Language Model）+ NSP（Next Sentence Prediction）	LM（Language Modeling）
注意力机制	双向注意力	单向注意力
典型应用场景	文本分类、实体识别	文本生成、对话系统

BERT：
使用双向注意力机制，能够同时捕捉上下文信息
适合理解任务（Understanding Tasks），如问答和文本分类
GPT-3：
使用单向注意力机制，只能从左到右或从右到左建模
适合生成任务（Generation Tasks），如文本补全和对话生成

以下是一个使用 HuggingFace Transformers 库加载 BERT-base 进行文本分类任务的完整代码示例：

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import Trainer, TrainingArguments
import torch
from datasets import load_dataset

# 加载数据集
dataset = load_dataset("imdb")

# 初始化 Tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# Tokenizer 处理
def tokenize_function(examples):
    return tokenizer(examples["text"], padding="max_length", truncation=True, max_length=512)

tokenized_datasets = dataset.map(tokenize_function, batched=True)

# 加载模型
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 训练参数设置
training_args = TrainingArguments(
    output_dir='./results',
    per_device_train_batch_size=8,
    num_train_epochs=3,
    learning_rate=5e-5,
    save_steps=10_000,
    save_total_limit=2,
)

# 初始化 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["test"],
)

# 开始训练
trainer.train()