共计 1758 个字符，预计需要花费 5 分钟才能阅读完成。
1. CLCD 数据集特性与常见痛点
CLCD（Cross-Lingual Common Data）数据集通常包含多语言文本、结构化字段和元数据，其核心特征包括：
- 异构性 ：混合了数值、文本、JSON 等复合类型字段
- 规模大 ：单文件常达 GB 甚至 TB 级别
- 脏数据多 ：存在编码不一致、特殊字符乱码等问题
开发者常遇到的三大痛点：
- 清洗效率低 ：单机 Pandas 处理超过 1GB 文件时内存溢出风险高
- 存储成本高 ：CSV 格式存储导致冗余字段重复占用空间
- 查询性能差 ：全表扫描时 I / O 吞吐成为瓶颈
2. PySpark vs Pandas 技术选型
通过对比测试 100GB CLCD 数据集的处理：
| 指标 | PySpark(4 节点) | Pandas(32G 内存) |
|---|---|---|
| 加载时间 | 2.1 分钟 | 内存溢出 |
| 空值处理 | 48 秒 | 6.2 分钟 |
| 内存占用 | 稳定在 8GB | 峰值 29GB |
选型建议 ：
- 数据量 <5GB 且字段简单时可用 Pandas
- 存在嵌套结构或需要分布式处理时必选 PySpark
3. PySpark 数据清洗实战
完整处理流程代码示例（含关键注释）：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, when
# 初始化 Spark 会话
spark = SparkSession.builder \
.appName("CLCD_Cleaning") \
.config("spark.sql.parquet.compression.codec", "snappy") \
.getOrCreate()
# 1. 数据加载（支持 JSON/CSV 多格式）df = spark.read.option("multiline", "true") \
.json("hdfs:///data/clcd/raw/*.json")
# 2. 异常值处理（示例：清洗年龄字段）df_clean = df.withColumn("age",
when((col("age") > 100) | (col("age") < 0), None)
.otherwise(col("age")))
# 3. 空值智能填充（不同类型字段差异化处理）from pyspark.sql.functions import mean
avg_age = df.select(mean(col("age"))).collect()[0][0]
df_filled = df_clean.fillna(
{
"age": avg_age, # 数值型用均值
"gender": "unknown", # 字符型用默认值
"metadata": "{}" # JSON 型用空结构}
)
# 4. 数据验证
print(f"原始记录数: {df.count()}")
print(f"清洗后记录数: {df_filled.count()}")4. Parquet 存储优化详解
列式存储原理 ：
- 按列而非按行存储数据
- 同列数据具有相同类型，压缩效率更高
- 支持谓词下推（Predicate Pushdown）减少 I /O
关键配置参数 ：
# 写入优化配置
(df_filled.write
.option("compression", "gzip") # 压缩算法
.option("parquet.block.size", 256*1024*1024) # 块大小
.partitionBy("country", "year") # 分区字段
.parquet("/data/clcd/cleaned"))空间节省对比 （相同数据量）：
| 格式 | 占用空间 | 查询延迟 |
|---|---|---|
| CSV | 142GB | 12.3s |
| Parquet | 68GB | 3.7s |
5. 生产环境问题解决方案
小文件合并问题
现象 ：频繁写入导致大量小文件（<128MB）
解决 ：
# 写入前主动合并
(df.repartition(200) # 按目标文件大小调整
.write.parquet(...))分区策略优化
错误示范 ：
/year=2023/month=01/day=01/hour=00/ # 过度分区 正确做法 ：
/country=CN/year=2023/ # 按高频查询维度 压缩算法选择
| 算法 | 压缩率 | CPU 消耗 | 适用场景 |
|---|---|---|---|
| SNAPPY | 中 | 低 | 平衡型 |
| GZIP | 高 | 高 | 冷数据存储 |
| LZO | 低 | 最低 | 实时处理场景 |
思考题
如何根据以下数据访问模式优化 Parquet 的压缩算法选择？
- 每小时高频查询最近 7 天数据
- 每月全量扫描历史数据生成报表
- 随机访问特定用户的所有记录
欢迎在评论区分享你的解决方案！
正文完
