深度学习实战：从零构建神经网络解决自然语言处理任务

1次阅读

没有评论

共计 1859 个字符，预计需要花费 5 分钟才能阅读完成。

在自然语言处理领域，传统方法如 TF-IDF、朴素贝叶斯等依赖于人工特征工程，存在明显不足：

特征提取过程繁琐，需要大量领域知识
难以捕捉词语间的上下文关系
面对新领域时泛化能力较差
无法有效处理一词多义等语言现象

针对文本分类任务，主流神经网络架构各有特点：

RNN：
优点：能处理变长序列
缺点：长程依赖捕捉能力弱
LSTM：
优点：通过门控机制解决梯度消失
缺点：计算复杂度较高
Transformer：
优点：并行计算效率高
缺点：需要大量训练数据

对于中等规模数据集，LSTM 通常是平衡效果与复杂度的最佳选择。

import torch
from torchtext.data import Field, TabularDataset, BucketIterator

# 定义字段处理
TEXT = Field(tokenize='spacy', lower=True)
LABEL = Field(sequential=False, use_vocab=False)

# 加载数据集
train_data, test_data = TabularDataset.splits(
    path='./data',
    train='train.csv',
    test='test.csv',
    format='csv',
    fields=[('text', TEXT), ('label', LABEL)]
)

# 构建词表
TEXT.build_vocab(train_data, max_size=25000)

import torch.nn as nn

class LSTMClassifier(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim, output_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.lstm = nn.LSTM(embedding_dim, hidden_dim, batch_first=True)
        self.fc = nn.Linear(hidden_dim, output_dim)

    def forward(self, text):
        embedded = self.embedding(text)
        output, (hidden, cell) = self.lstm(embedded)
        return self.fc(hidden.squeeze(0))

# 初始化模型
model = LSTMClassifier(vocab_size=len(TEXT.vocab),
    embedding_dim=100,
    hidden_dim=256,
    output_dim=5  # 假设 5 分类任务
)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters())

# 训练循环
for epoch in range(10):
    for batch in train_iterator:
        optimizer.zero_grad()
        predictions = model(batch.text)
        loss = criterion(predictions, batch.label)
        loss.backward()
        optimizer.step()