如何高效处理chinesefoodnet数据集：从清洗到特征工程的完整解决方案

1次阅读

没有评论

共计 2251 个字符，预计需要花费 6 分钟才能阅读完成。

在处理 chinesefoodnet 数据集时，我们首先遇到了几个典型问题：

标签噪声：部分样本存在错误标注，例如将 ” 宫保鸡丁 ” 误标为 ” 辣子鸡 ”
图像尺寸不一致：原始图片分辨率从 300×400 到 4000×6000 不等，直接输入模型会导致内存爆炸
类别不均衡：热门菜品类（如饺子）样本量是冷门菜品（如佛跳墙）的 50 倍以上
存储格式混杂：包含 JPEG、PNG 甚至部分损坏的图片文件

传统单机处理（OpenCV）与分布式处理（PySpark）的核心差异：

OpenCV 方案：
优点：接口简单，适合小规模数据
缺点：单节点内存限制，处理 10 万 + 图片时 OOM 风险高
PySpark 方案：
优点：自动数据分片（Data Partitioning），线性扩展能力
缺点：需要集群环境，小数据量时有启动开销

实测对比（100GB 数据）：

指标	OpenCV 单机	PySpark(4 节点)
总耗时	6.2 小时	47 分钟
峰值内存	128GB	32GB/ 节点
CPU 利用率	90%	平均 75%

from pyspark.sql.functions import udf
from pyspark.sql.types import BinaryType
import cv2
import numpy as np

# 定义图像处理 UDF
@udf(returnType=BinaryType())
def preprocess_image(img_bytes: bytes) -> bytes:
    """
    标准化处理流程：1. 解码字节流
    2. 统一缩放到 512x512
    3. 直方图均衡化
    4. 转换为 JPEG 格式
    """
    nparr = np.frombuffer(img_bytes, np.uint8)
    img = cv2.imdecode(nparr, cv2.IMREAD_COLOR)
    img = cv2.resize(img, (512, 512))
    img_yuv = cv2.cvtColor(img, cv2.COLOR_BGR2YUV)
    img_yuv[:,:,0] = cv2.equalizeHist(img_yuv[:,:,0])
    processed = cv2.cvtColor(img_yuv, cv2.COLOR_YUV2BGR)
    _, jpeg_bytes = cv2.imencode('.jpg', processed)
    return jpeg_bytes.tobytes()

# 应用处理
spark_df = spark.read.format("binaryFile").load("hdfs:///food_images/*")
processed_df = spark_df.withColumn("processed", preprocess_image("content"))

flowchart TD
    A[原始图像] --> B[TF-IDF 文本特征]
    A --> C[CNN 视觉特征]
    B --> D[特征拼接]
    C --> D
    D --> E[分类模型]

关键设计点：

文本特征：从文件名和元数据提取菜品名称、地域等文本信息，使用 TF-IDF（Term Frequency-Inverse Document Frequency）编码
视觉特征：采用轻量级 MobileNetV3 提取 2048 维特征向量
特征融合：通过全连接层将两类特征投影到统一空间

分块加载 ：设置spark.sql.files.maxPartitionBytes=128MB 控制单个分区大小
广播变量：将 CNN 模型权重作为广播变量分发
及时清理 ：在 UDF 中使用del 显式释放中间变量

from dask.distributed import Client
import dask.array as da

client = Client(n_workers=4)

# 将 Spark RDD 转换为 Dask 数组
dask_images = da.from_dask_array(spark_df.select("processed").rdd.map(lambda x: x[0]).toLocalIterator(),
    chunks=(1000, 512, 512, 3)
)

# 并行特征提取
features = dask_images.map_blocks(lambda x: model.predict(x, batch_size=32),
    dtype=np.float32
)