2022-2023山东大学软件学院人工智能导论课程项目实战：基于TensorFlow的智能推荐系统实现

1次阅读

共计 2475 个字符，预计需要花费 7 分钟才能阅读完成。

在课程项目初期，我们尝试使用传统的协同过滤算法（如 UserCF 和 ItemCF），发现面临两个核心问题：

稀疏性困境：当用户 - 商品交互矩阵密度低于 0.1% 时，预测准确率（Precision@10）骤降 42%
冷启动障碍：新用户的首条推荐需要至少 15 次历史交互才能达到基础准确率

通过分析 MovieLens-1M 数据集发现，传统方法的 RMSE 始终徘徊在 0.92 左右，无法突破课程要求的 0.85 基准线。

算法类型	RMSE	训练耗时(epoch=50)	冷启动支持
协同过滤	0.91	23min	×
矩阵分解(SVD++)	0.87	37min	△
深度双塔模型	0.83	68min	√

△表示需要辅助特征，√表示原生支持

import tensorflow as tf
from tensorflow.keras.layers import Embedding, Dense, Concatenate

# 用户塔
user_input = tf.keras.Input(shape=(1,), name='user_id')
user_embed = Embedding(input_dim=10000, output_dim=64)(user_input)
user_fc = Dense(128, activation='relu')(user_embed)

# 商品塔
item_input = tf.keras.Input(shape=(1,), name='item_id'))
item_embed = Embedding(input_dim=5000, output_dim=64)(item_input)
item_fc = Dense(128, activation='relu')(item_embed)

# 双塔合并
merged = Concatenate()([user_fc, item_fc])
prediction = Dense(1, activation='sigmoid')(merged)

说明：Embedding 维度选择 64 经过网格搜索验证，在内存占用和效果间取得平衡

工业级推荐系统通常采用如下采样方法：

曝光未点击采样：从用户曝光但未交互的商品中随机选取
全局随机采样：从全量商品中按流行度加权随机选取
对抗采样：动态选择模型当前最难区分的负样本

我们最终采用混合采样策略：

def generate_negatives(user_ids, pos_items, neg_ratio=4):
    negatives = []
    for _ in range(neg_ratio):
        # 80% 来自曝光未点击，20% 来自全局
        neg = tf.where(tf.random.uniform(shape=pos_items.shape) > 0.2,
                      sampled_from_impressions(user_ids),
                      sampled_from_all_items())
        negatives.append(neg)
    return tf.stack(negatives, axis=1)

将原始 CSV 转为 TFRecords 可提升 3 倍读取速度：

创建特征描述字典

feature_description = {'user_id': tf.io.FixedLenFeature([], tf.int64),
    'item_id': tf.io.FixedLenFeature([], tf.int64),
    'label': tf.io.FixedLenFeature([], tf.float32)
}

构建解析函数

def _parse_function(example_proto):
    return tf.io.parse_single_example(example_proto, feature_description)

在 RTX3090 显卡上可加速 1.8 倍：

policy = tf.keras.mixed_precision.Policy('mixed_float16')
tf.keras.mixed_precision.set_global_policy(policy)

# 需在模型最后层保持 float32
model.add(tf.keras.layers.Activation('sigmoid', dtype='float32'))

对于用户地域、商品类别等稀疏特征：

对低频类别（出现次数 <10）统一归为UNK

采用 Feature Hash 技巧将高维类别映射到固定空间

# 示例：将 1 亿维的 user_tags 压缩到 1024 维
hashed = tf.strings.to_hash_bucket_fast(user_tags, num_buckets=1024)

线上服务采用双缓冲机制：

新模型在影子模式下运行
通过 AB 测试验证指标达标后
使用 tf.saved_model 无缝切换

可扩展点击率 (CTR) 和转化率 (CVR) 联合建模：

# 共享底层 Embedding
shared_embed = build_shared_embedding()

# 任务特定塔
ctr_tower = build_tower(shared_embed, name='ctr')
cvr_tower = build_tower(shared_embed, name='cvr')

# 损失函数加权
loss = 0.7 * ctr_loss + 0.3 * cvr_loss

关键指标对比方案：