Amazon Beauty数据集深度解析：从数据清洗到特征工程的实战指南

1次阅读

共计 2399 个字符，预计需要花费 6 分钟才能阅读完成。

Amazon Beauty 数据集是电商推荐系统研究的经典数据集，包含了丰富的用户评论、商品信息和评分数据。但在实际使用过程中，我们常常会遇到以下几个典型问题：

评论文本噪声大：评论中包含 HTML 转义字符、emoji 表情、拼写错误等噪声数据
商品类目层级缺失：很多商品只有一级类目，缺乏完整的类目层级结构
用户行为稀疏性：美妆品类用户购买频率相对较低，导致用户 - 商品交互矩阵非常稀疏

这些数据质量问题会直接影响后续推荐算法的效果，因此需要仔细的数据预处理和特征工程。

评论中经常包含 &、< 这样的 HTML 转义字符，我们需要先将其转换为正常字符：

import html

def clean_html_escape(text: str) -> str:
    """
    清理 HTML 转义字符
    :param text: 原始文本
    :return: 清理后的文本
    """
    return html.unescape(text)

Emoji 表情在评论文本中很常见，但不同平台的表情编码可能不同，我们需要统一处理：

import emoji

def standardize_emoji(text: str) -> str:
    """
    将 emoji 统一转换为文字描述
    :param text: 原始文本
    :return: 转换后的文本
    """return emoji.demojize(text, delimiters=(" "," "))

根据领域特点，我们需要自定义停用词表：

from nltk.corpus import stopwords

def remove_stopwords(text: str, custom_stopwords: list = None) -> str:
    """
    移除停用词
    :param text: 原始文本
    :param custom_stopwords: 自定义停用词列表
    :return: 过滤后的文本
    """stop_words = set(stopwords.words('english'))
    if custom_stopwords:
        stop_words.update(custom_stopwords)
    return ' '.join([word for word in text.split() if word.lower() not in stop_words])

Amazon Beauty 数据集中的类目信息往往不完整，我们需要设计路径补全算法：

提取所有商品的现有类目路径
构建类目树，计算类目之间的相似度
对缺失中间层级的类目，基于相似度自动补全

from sklearn.feature_extraction.text import TfidfVectorizer

def complete_category_path(categories: list) -> list:
    """
    补全不完整的类目路径
    :param categories: 原始类目列表
    :return: 补全后的类目路径
    """
    # 1. 构建所有类目的 TF-IDF 表示
    vectorizer = TfidfVectorizer()
    category_vectors = vectorizer.fit_transform(categories)

    # 2. 计算类目相似度并补全路径
    # 实现细节省略...
    return completed_categories

对于评论文本，我们可以使用 BERT 获取高质量的文本表示：

from transformers import BertTokenizer, BertModel
import torch

def get_bert_embeddings(texts: list[str]) -> torch.Tensor:
    """
    获取文本的 BERT 向量表示
    :param texts: 文本列表
    :return: 文本向量矩阵
    """tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
    model = BertModel.from_pretrained('bert-base-uncased')

    inputs = tokenizer(texts, return_tensors='pt', padding=True, truncation=True, max_length=512)
    with torch.no_grad():
        outputs = model(**inputs)

    # 取最后一层 CLS token 作为文本表示
    return outputs.last_hidden_state[:, 0, :]

在处理 Amazon Beauty 数据集时，有几个常见误区需要特别注意：