Amazon数据集高效处理实战：从ETL到分析的完整解决方案

1次阅读

共计 1521 个字符，预计需要花费 4 分钟才能阅读完成。

处理 Amazon 数据集时，我们经常遇到以下挑战：

数据量巨大：TB 级别的产品评论和元数据，传统单机处理效率低下
Schema 动态变化 ：用户生成内容(UGC) 字段频繁增减，导致 ETL 流程频繁中断
数据质量参差：缺失值、异常值、非标准格式普遍存在
计算资源消耗高：全表扫描导致不必要的 IO 和内存开销

批处理能力
Spark 优势：成熟的 DataFrame API，丰富的内置函数库
Flink 特点：流批一体但批处理生态稍弱
内存管理
Spark：默认堆内存管理，需手动调节 GC
Flink：自主内存管理，减少 OOM 风险
社区支持
Spark：Amazon EMR 原生支持更好
Flink：实时处理场景更优

最终选择 Spark 3.x + Delta Lake 方案，因：
– 兼容现有 Hadoop 生态
– 内置优化器支持动态分区剪枝
– 对 Python/Scala 混合开发友好

# 按产品类别 + 年份二级分区
(df.write
  .partitionBy("main_category", "year")
  .format("delta")
  .save("/data/amazon_reviews"))

设计要点：

避免「年 - 月 - 日」三级分区导致小文件过多
热门类别单独处理防止数据倾斜
配合 Z -Ordering 优化高频查询字段

// Scala 示例：带异常处理的清洗流程
val cleanDF = rawDF
  .transform(validateSchema) // 校验 Schema
  .transform(handleNulls)    // 空值处理
  .transform(normalizeText)  // 文本标准化
  .cache() // 复用中间结果

def handleNulls(df: DataFrame): DataFrame = {
  df.select(df.columns.map { c => 
    when(col(c).isNull, 
      lit(c match {case "reviewText" => "[内容删除]"
        case "rating" => 3.0
        case _ => null
      })
    ).otherwise(col(c)).as(c)
  }: _*)
}