AI问答系统入门：循环神经网络(RNN)原理详解与实战

1次阅读

没有评论

共计 1515 个字符，预计需要花费 4 分钟才能阅读完成。

在传统的 NLP 处理方法中（如 TF-IDF 或词袋模型），每次处理文本时都像在对待一张照片——只能看到静态的片段。但人类对话是有记忆的：

当你说 ” 我喜欢吃苹果，因为它们很甜 ” 时，
传统方法会独立分析 ” 苹果 ” 这个词，
而 RNN 会记住前面提到的 ” 吃 ” 这个动作，
从而避免将 ” 苹果 ” 误解为电子品牌

想象你在教小朋友读故事书：

每次读一个新词时（输入 xt）
你会结合当前词和之前的情节（隐藏状态 ht-1）
更新你对故事的理解（新隐藏状态 ht）
根据理解预测接下来会发生什么（输出 yt）

这个过程中，RNN 通过以下公式完成魔法：

# 这是 RNN 的简化版数学表达（实际用框架不需要手写）ht = tanh(Wxh * xt + Whh * h(t-1) + bh)
yt = Why * ht + by

我们使用 Keras 构建一个能回答天气查询的 RNN：

import tensorflow as tf
from tensorflow.keras.layers import SimpleRNN, Dense, Embedding

# 构建模型
model = tf.keras.Sequential([# 将单词转换为向量（比如 "天气"->[0.2, -0.3, ...]）Embedding(input_dim=1000, output_dim=64), 

    # 核心 RNN 层，处理序列信息
    SimpleRNN(units=128, return_sequences=True),

    # 输出层，预测最可能的回答
    Dense(500, activation='softmax') 
])

# 配置训练参数
model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['accuracy']
)

# 示例数据格式
# 问题："北京今天天气如何" -> 回答："晴天，25 摄氏度"
# 实际需要先做分词和数字化处理

当处理长句子时（如用户输入 200 字描述），RNN 会像传话游戏一样逐渐遗忘开头的内容。改进方案：

使用 LSTM 或 GRU（RNN 的升级版）
添加 Attention 机制（让模型学会 ” 重点记忆 ”）

文本清洗：
统一转换为小写
处理特殊符号（保留? 等关键标点）
中文需要先分词
构建词表时的注意事项：
保留高频词（出现次数 >5）
添加标记处理生僻词
用统一文本长度

批量大小（batch_size）：从 32 开始尝试
RNN 层神经元数量：128-256 之间效果较好
Dropout 比例：0.2-0.5 防止过拟合

使用 Flask 构建 API 接口的示例结构：

from flask import Flask, request
import numpy as np

app = Flask(__name__)
model = load_model('qa_rnn.h5')

@app.route('/answer', methods=['POST'])
def answer():
    question = request.json['question']
    # 文本预处理
    tokens = preprocess(question)
    # 模型预测
    pred = model.predict(np.array([tokens]))
    # 返回概率最高的答案
    return {'answer': decode_answer(pred.argmax())}

当这个基础问答系统跑通后，可以尝试：