基于循环神经网络的情感分析实战：从数据预处理到模型部署

1次阅读

共计 1883 个字符，预计需要花费 5 分钟才能阅读完成。

情感分析能帮助企业从用户评论中挖掘商业洞察（如产品改进方向），也是构建智能客服的基础模块。技术难点在于：1) 文本中的否定句和反讽处理 2) 跨领域数据分布差异 3) 短文本的稀疏特征提取。

模型类型	参数量	长序列记忆能力	计算复杂度
RNN	最低	容易梯度消失	O(n)
LSTM	中等	优秀	O(n^2)
GRU	较高	良好	O(n log n)

# 中文文本清洗示例
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer

def clean_text(text):
    # 移除特殊字符
    text = re.sub(r'[^\w\s]', '', text)
    # 结巴分词（比 pkuseg 更快但准确率略低）return ' '.join(jieba.cut(text))

# TF-IDF 向量化（限制 5000 维防止维度爆炸）vectorizer = TfidfVectorizer(
    max_features=5000, 
    ngram_range=(1,2)  # 包含二元词组
)

class LSTMAttention(nn.Module):
    def __init__(self, vocab_size=5000, embed_dim=128):
        super().__init__()
        # Embedding 层（加载预训练词向量效果更好）self.embedding = nn.Embedding(vocab_size, embed_dim)

        # BiLSTM 层（bidirectional=True）self.lstm = nn.LSTM(
            input_size=embed_dim,
            hidden_size=64,
            num_layers=2,
            dropout=0.3  # 防止过拟合
        )

        # Attention 机制
        self.attention = nn.Sequential(nn.Linear(64, 32),
            nn.Tanh(),
            nn.Linear(32, 1)
        )

    def forward(self, x):
        # x 形状: [batch_size, seq_len]
        embedded = self.embedding(x)  # [batch_size, seq_len, embed_dim]
        lstm_out, _ = self.lstm(embedded)  # [batch_size, seq_len, hidden_size*2]

        # 计算注意力权重
        attn_weights = torch.softmax(self.attention(lstm_out), 
            dim=1
        )
        # 加权求和
        return torch.sum(attn_weights * lstm_out, dim=1)

# Focal Loss 实现（γ= 2 效果最佳）class FocalLoss(nn.Module):
    def __init__(self, gamma=2):
        super().__init__()
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = F.binary_cross_entropy_with_logits(inputs, targets, reduction='none')
        pt = torch.exp(-BCE_loss)
        return ((1-pt)**self.gamma * BCE_loss).mean()

文本长度	GPU 显存占用	推理速度
50 词	1.2GB	120ms
100 词	2.1GB	210ms
200 词	3.8GB	报错

量化部署测试（FP32→INT8）：
– 准确率下降：0.92→0.89
– 模型体积缩小：78MB→19MB

中文分词工具选择 ：
金融领域推荐使用 HanLP
通用场景用 jieba-fast 加速
医疗文本选 LTP

学习率 warmup 策略 ：

# 前 1000 步线性增加学习率
optimizer = torch.optim.AdamW(model.parameters(), lr=0)
scheduler = torch.optim.lr_scheduler.LambdaLR(
    optimizer,
    lambda step: min(step/1000, 1)  # 从 0 逐渐增加到目标 lr
)