BERT大语言模型入门实战：从零构建你的第一个文本分类器

1次阅读

共计 2317 个字符，预计需要花费 6 分钟才能阅读完成。

BERT 的核心是 Transformer 编码器堆叠。与 RNN 不同，它的自注意力机制能同时处理所有词元，通过计算词元间的关联权重（Query-Key-Value 机制）捕捉上下文关系。例如句子 ” 银行账户 ” 和 ” 河边银行 ” 中的 ” 银行 ” 会因不同上下文获得不同编码。

预训练 ：在大规模语料上通过掩码语言模型（MLM）和下一句预测（NSP）任务学习通用语言表示
微调：在特定任务（如文本分类）上对预训练模型进行小规模调整，通常只修改最后的分类层

# 推荐使用 Python 3.8+
conda create -n bert_env python=3.8
conda activate bert_env

# PyTorch 版本（本文示例使用）pip install torch transformers datasets
# TensorFlow 版本
pip install tensorflow transformers[tensorflow]

def clean_text(text):
    # 移除特殊字符但保留基本标点
    text = re.sub(r'[^\w\s,.!?]', '', text)
    # 统一转换为小写
    return text.lower().strip()

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 实际处理示例
text = "I love natural language processing!"
inputs = tokenizer(
    text, 
    padding='max_length', 
    truncation=True, 
    max_length=128, 
    return_tensors="pt"
)
print(inputs.input_ids.shape)  # 输出: torch.Size([1, 128])

from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased', 
    num_labels=5  # 假设是 5 分类任务
)

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir='./results',
    per_device_train_batch_size=8,
    num_train_epochs=3,
    logging_dir='./logs',
    logging_steps=10,
    save_steps=500,
    learning_rate=2e-5,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=val_dataset
)

trainer.train()

GPU 内存充足 ：增大 batch size（通常 16-32）
内存有限 ：使用梯度累积（gradient_accumulation_steps）

推荐使用线性预热（warmup）：

TrainingArguments(
    warmup_steps=500,
    lr_scheduler_type='linear'
)

减小 batch size
使用混合精度训练（fp16=True）
尝试 BERT-small 版本

增加 dropout 概率（在模型配置中设置 hidden_dropout_prob）
添加 L2 正则化（weight_decay 参数）
早停机制（early_stopping_patience）

from transformers import convert_graph_to_onnx

convert_graph_to_onnx.convert(
    framework="pt",
    model="./saved_model",
    output="model.onnx",
    opset=12
)

使用 FastAPI 搭建服务：

from fastapi import FastAPI
app = FastAPI()

@app.post("/predict")
async def predict(text: str):
    inputs = tokenizer(text, return_tensors="pt")
    outputs = model(**inputs)
    return {"label": outputs.logits.argmax().item()}