从零构建基于内容的推荐系统：21世纪初数据挖掘技术实战指南

1次阅读

共计 1392 个字符，预计需要花费 4 分钟才能阅读完成。

21 世纪初，数据挖掘技术的成熟为推荐系统带来了革命性变化。传统基于规则的推荐方式逐渐被数据驱动的方法取代，特别是基于内容的推荐（Content-Based Filtering）开始崭露头角。这一时期的技术突破主要体现在：

文本特征提取技术的标准化（如 TF-IDF）
相似度计算方法的工程化落地
处理海量稀疏数据的能力提升

基于内容推荐
核心思想：根据物品本身的特征推荐相似物品
优势：解决冷启动问题（新物品 / 新用户）
典型场景：新闻推荐、文档检索
协同过滤
核心思想：根据用户群体行为模式推荐
优势：发现意外相关性（啤酒与尿布）
局限：需要大量历史行为数据

from sklearn.feature_extraction.text import TfidfVectorizer

# 示例商品描述数据
docs = [
    "智能手机 6.5 英寸 OLED 128GB",
    "蓝牙耳机 无线 降噪 30 小时续航",
    "智能手表 心率监测 50 米防水"
]

# 关键参数说明：# - max_features: 限制特征维度
# - stop_words: 移除无意义词
vectorizer = TfidfVectorizer(max_features=1000)
tfidf_matrix = vectorizer.fit_transform(docs)

# 查看特征词表
print(vectorizer.get_feature_names_out())

数学原理：
– TF（词频）= 词在文档中出现次数 / 文档总词数
– IDF（逆文档频率）= log(总文档数 / 包含该词的文档数)
– TF-IDF = TF × IDF

from sklearn.metrics.pairwise import cosine_similarity

# 计算商品间相似度
sim_matrix = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix)
print(f"商品 1 与其他商品的相似度：{sim_matrix}")

# 手动实现版本
import numpy as np
def manual_cosine(a, b):
    dot_product = np.dot(a, b.T)
    norm_a = np.linalg.norm(a)
    norm_b = np.linalg.norm(b)
    return dot_product / (norm_a * norm_b)

几何解释：两个向量在空间中的夹角越小，余弦值越接近 1，表示越相似。