13011人工智能与大数据真题解析：新手入门指南与实战避坑

共计 1355 个字符，预计需要花费 4 分钟才能阅读完成。

背景痛点：新手为什么总在真题面前栽跟头？

每次看到 13011 的考卷，很多同学都会觉得明明知识点都学过，但就是不知道从哪下手。根据我的观察，主要有三个拦路虎：

• 知识碎片化 ：课堂上学的是分散的概念，真题却要求综合运用
• 缺乏实战经验 ：平时练习的数据集都是清洗好的，真实题目常包含脏数据
• 性能瓶颈 ：在小数据集跑通的代码，遇到 GB 级数据直接卡死

知识图谱：一张表理清核心考点

先来看看这张我整理的考频统计表（近 5 年真题）：

pie title 技术点分布
    "Python 数据处理" : 35
    "Hadoop 生态" : 25
    "机器学习基础" : 30
    "SQL 优化" : 10

典型题目解析

题目 1：电商用户分群（中英双语）

English: Implement RFM model for customer segmentation using Spark
中文 : 使用 Spark 实现 RFM 用户分群模型

解题思路：

1. 理解 RFM 三要素：
2. Recency（最近购买时间）
3. Frequency（购买频次）

4. Monetary（消费金额）

5. 数据预处理关键点：

6. 处理时间格式（注意时区问题）
7. 处理异常订单（退款订单要排除）

代码实现（PySpark）：

# 导入必要库
from pyspark.sql import functions as F
from pyspark.sql.window import Window

# 计算 R 值（按用户分组取最大日期）window_spec = Window.partitionBy('user_id')
df_rfm = df.withColumn('recency', 
    F.datediff(F.current_date(), F.max('order_date').over(window_spec)))

# 计算 F 值（订单数统计）df_rfm = df_rfm.withColumn('frequency', 
    F.count('order_id').over(window_spec))

# 计算 M 值（金额求和）df_rfm = df_rfm.withColumn('monetary',
    F.sum('amount').over(window_spec))

性能优化实战

当数据量超过 1TB 时，试试这些优化技巧：

1. 存储格式优化 ：
2. 用 Parquet 代替 CSV，压缩比可达 75%

3. 分区字段选择高基数列

4. 计算优化 ：

5. 避免使用 collect()
6. 合理设置 spark.sql.shuffle.partitions

血泪教训：5 个必知的坑

1. 监督 / 无监督学习混淆 ：
2. ✖错误：用 K -Means 做预测

3. ✔正确：分类问题用决策树 /XGBoost

4. 数据泄漏 ：

5. ✖错误：在特征工程阶段使用全量数据统计

6. ✔正确：严格区分训练集 / 测试集

7. Hadoop 配置陷阱 ：

8. ✖错误：默认副本数 3 导致小文件爆炸
9. ✔正确：set dfs.replication=1 for dev env

延伸思考

试着回答这些问题来检验学习效果：

1. 如果推荐系统的实时性要求很高，该如何改造 MapReduce 架构？
2. 当特征维度达到百万级时，PCA 降维会遇到什么问题？
3. 如何设计一个支持 AB 测试的机器学习流水线？

写在最后

真题就像一面镜子，照出我们知识体系的漏洞。建议把本文提到的案例代码自己手敲三遍——第一遍对照着写，第二遍闭卷写，第三遍尝试优化。遇到卡壳的地方，就是你需要重点突破的知识点。记住，解决一个具体问题比泛泛而学十个概念更有价值。