从BERT到ChatGPT：NLP新手入门指南与实战对比

1次阅读

共计 1962 个字符，预计需要花费 5 分钟才能阅读完成。

自然语言处理（NLP）近年来取得了巨大进展，BERT 和 ChatGPT 无疑是这一领域的两颗明星。作为 NLP 新手，理解这两种模型的核心原理、适用场景及差异至关重要。本文将带你从基础概念到实战应用，全面对比这两种模型，并提供实用的代码示例和生产环境建议。

BERT（Bidirectional Encoder Representations from Transformers）由 Google 于 2018 年推出，通过双向 Transformer 编码器实现了上下文相关的词向量表示。它特别擅长理解任务，如文本分类、命名实体识别等。

ChatGPT 是 OpenAI 基于 GPT（Generative Pre-trained Transformer）系列开发的对话模型，采用单向 Transformer 解码器结构，专注于文本生成任务。其最新版本展现了惊人的对话能力和创造性文本生成能力。

BERT
纯编码器架构
基础版 12 层 Transformer，大版 24 层
双向自注意力机制
最大输入长度通常为 512 tokens
ChatGPT
纯解码器架构
模型规模更大（GPT- 3 有 1750 亿参数）
单向自注意力（仅关注左侧上下文）
支持更长的上下文（如 4000+ tokens）

BERT 使用掩码语言建模（MLM）和下一句预测（NSP）任务
ChatGPT 使用自回归语言建模，预测下一个 token

首先安装必要库：

!pip install transformers torch

from transformers import BertTokenizer, BertForSequenceClassification
import torch

# 加载预训练模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 准备输入
text = "This movie was great!"
inputs = tokenizer(text, return_tensors="pt")

# 前向传播
with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.argmax(outputs.logits, dim=1)

print(f"Predicted class: {predictions.item()}")

from transformers import GPT2Tokenizer, GPT2LMHeadModel

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')

# 生成文本
input_text = "人工智能的未来"
input_ids = tokenizer.encode(input_text, return_tensors='pt')

# 设置生成参数
output = model.generate(
    input_ids,
    max_length=100,
    num_return_sequences=1,
    no_repeat_ngram_size=2,
    early_stopping=True
)

print(tokenizer.decode(output[0], skip_special_tokens=True))