2025山东大学软件学院NLP入门指南：从零构建自然语言处理实战能力

1次阅读

共计 1803 个字符，预计需要花费 5 分钟才能阅读完成。

作为刚接触自然语言处理的学生，通常会遇到几个典型问题：

数学基础不足 ：很多同学在概率论、线性代数等课程上学得不够扎实，看到 $W_xh$ 这样的权重矩阵符号就发怵
环境配置复杂 ：实验室服务器的 CUDA 版本、PyTorch 版本冲突能卡住一周时间
代码理解困难 ：教材上的理论推导很清晰，但一到实际写代码就不知道张量该怎么 reshape
资源不会利用 ：学校提供的 GPU 算力闲置，反而用自己笔记本跑模型

方法类型	准确率范围	训练成本	适合场景
规则方法	40-60%	极低	结构化数据 + 简单逻辑
传统机器学习	65-80%	中	小规模标注数据
深度学习	75-95%	高	大数据量 + 复杂语义理解

# 使用 Jieba 分词示例
import jieba
text = "山东大学软件学院欢迎你"
words = [word for word in jieba.cut(text) if word not in stopwords]
# 输出: ['山东大学', '软件学院', '欢迎']

class LSTMClassifier(nn.Module):
    def __init__(self, vocab_size, embed_dim=100, hidden_dim=128):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True)  
        # batch_first=True 使得输入形状为 (batch, seq, feature)
        self.fc = nn.Linear(hidden_dim, 2)

    def forward(self, x):
        # x 形状: [batch_size, seq_len]
        embedded = self.embedding(x)  # -> [batch, seq, embed_dim]
        _, (hidden, _) = self.lstm(embedded)  
        # hidden 形状: [1, batch, hidden_dim]
        return self.fc(hidden.squeeze(0))

Batch Size	GPU 显存占用	单 epoch 耗时
16	2.1GB	3.2min
32	3.8GB	1.9min
64	6.4GB	1.1min

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()
with autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

中文分词工具选择 ：
Jieba：安装简单 (pip install jieba)，但新词识别弱
HanLP：需要 Java 环境，但支持细粒度分词

服务器连接保活 ：

# 在~/.ssh/config 中添加
Host nlp-server
    HostName 192.168.1.100
    User yourname
    ServerAliveInterval 60

替换 LSTM 层为 TransformerEncoder：

encoder_layer = nn.TransformerEncoderLayer(
    d_model=embed_dim, 
    nhead=8  # 注意要能被 embed_dim 整除
)
self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=3)