2025山东大学软件学院自然语言处理(NLP)技术解析：从基础原理到实践应用

1次阅读

共计 2415 个字符，预计需要花费 7 分钟才能阅读完成。

自然语言处理 (NLP) 作为人工智能的重要分支，在实际开发中常面临诸多挑战。2025 山东大学软件学院的 NLP 课程特别关注这些痛点问题，并提供了针对性的解决方案。

文本预处理效率低：中文文本处理需要经过分词、去停用词、标准化等多个步骤，传统方法在处理大规模文本时效率显著下降。
中文分词准确率不足：相比英文等空格分隔的语言，中文分词面临更大的挑战，特别是在专业领域和网络用语场景下。
模型泛化能力差：传统机器学习方法依赖人工特征工程，难以适应不同领域的文本数据。

TF-IDF 等传统方法
优点：计算简单，解释性强
缺点：无法捕捉语义信息，特征维度高
深度学习模型(BERT 等)
优点：端到端学习，自动提取特征
缺点：计算资源需求大，模型解释性差

import jieba

def text_preprocess(text):
    # 去除特殊字符
    text = re.sub(r'[^\w\s]', '', text)
    # 精确模式分词
    words = jieba.lcut(text)
    # 去除停用词
    words = [w for w in words if w not in stopwords]
    return words

使用预训练的词向量模型，如 Word2Vec 或 GloVe：

from gensim.models import Word2Vec

model = Word2Vec(sentences, vector_size=100, window=5, min_count=1)

Transformer 的核心是多头注意力机制，下面是简化实现：

import torch
import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super().__init__()
        self.d_model = d_model
        self.num_heads = num_heads
        self.head_dim = d_model // num_heads

        self.q_linear = nn.Linear(d_model, d_model)
        self.k_linear = nn.Linear(d_model, d_model)
        self.v_linear = nn.Linear(d_model, d_model)

        self.out_linear = nn.Linear(d_model, d_model)

    def forward(self, q, k, v, mask=None):
        batch_size = q.size(0)

        # 线性变换并分头
        q = self.q_linear(q).view(batch_size, -1, self.num_heads, self.head_dim)
        k = self.k_linear(k).view(batch_size, -1, self.num_heads, self.head_dim)
        v = self.v_linear(v).view(batch_size, -1, self.num_heads, self.head_dim)

        # 计算注意力分数
        scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.head_dim)
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)

        # 计算注意力权重
        attention = torch.softmax(scores, dim=-1)

        # 应用注意力权重
        output = torch.matmul(attention, v)

        # 合并多头输出
        output = output.transpose(1, 2).contiguous() \
                 .view(batch_size, -1, self.d_model)

        return self.out_linear(output)

使用 HuggingFace 库加载预训练中文 BERT 模型：

from transformers import BertTokenizer, BertModel
import torch

# 加载预训练模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')

# 文本处理
text = "自然语言处理是人工智能的重要方向"
inputs = tokenizer(text, return_tensors="pt")

# 获取模型输出
with torch.no_grad():
    outputs = model(**inputs)

# 获取句子表示
sentence_embedding = outputs.last_hidden_state.mean(dim=1)