从BERT到ChatGPT：预训练语言模型的技术演进与实战对比

1次阅读

共计 1967 个字符，预计需要花费 5 分钟才能阅读完成。

在自然语言处理（NLP）领域，BERT 和 ChatGPT 作为两种主流的预训练语言模型，各自有着不同的优势和适用场景。很多开发者在面对具体任务时常常陷入选择困难：是使用 BERT 这样的理解型模型，还是选择 ChatGPT 这样的生成型模型？这种困惑主要源于对两者技术原理和适用场景的不够了解。

BERT 的优势：擅长文本理解任务，如文本分类、命名实体识别（NER）、问答系统等。
ChatGPT 的优势：长于文本生成任务，如对话系统、文章摘要、代码生成等。

理解这两种模型的核心差异，可以帮助开发者在实际项目中做出更明智的选择。

BERT 基于 Transformer 的 Encoder 结构，而 ChatGPT 基于 Transformer 的 Decoder 结构。这两种架构的核心差异在于注意力机制的设计：

BERT 的双向注意力：BERT 使用双向注意力机制，能够同时考虑上下文的所有单词，从而更好地理解文本的语义。
ChatGPT 的因果注意力：ChatGPT 使用因果注意力（或称为掩码注意力），只能看到当前位置之前的单词，确保生成文本的自回归特性。

BERT 的训练目标：
掩码语言模型（MLM）：随机掩盖部分单词，预测被掩盖的单词。
下一句预测（NSP）：判断两个句子是否连续。
ChatGPT 的训练目标：
自回归语言模型：根据前面的单词预测下一个单词。

模型	参数量级
BERT-base	110M
GPT-3	175B

以下是一个完整的文本分类 Pipeline 示例，基于 HuggingFace 的 Transformers 库：

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import pipeline

# 加载预训练模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 创建文本分类 Pipeline
classifier = pipeline('text-classification', model=model, tokenizer=tokenizer)

# 示例文本
text = "This is a positive sentence."

# 进行分类
result = classifier(text)
print(result)

以下是一个生成技术文档的 Prompt 工程示例：

import openai

# 设置 API 密钥
openai.api_key = 'your-api-key'

# 定义 Prompt
prompt = """
Generate a technical documentation for a Python function that calculates the factorial of a number.

Function signature:
def factorial(n: int) -> int:
"""

# 调用 GPT-3.5 API
response = openai.Completion.create(
  engine="text-davinci-003",
  prompt=prompt,
  max_tokens=200,
  temperature=0.7
)

print(response.choices[0].text)