DSAI4205 动手教程：用 Pandas、Dask、Spark RDD 与 SparkSQL 完成大数据分析入门
上一篇 DSAI4205 笔记偏“全景导览”，解释了大数据分析的系统主线。这一篇换成动手教程：根据 Tutorial 1-4、solution PDF 和配套数据，把 Pandas、Dask、Spark RDD、SparkSQL 串成一条从单机数据分析到分布式数据处理的实践路线。
读完这篇，目标不是记住所有 API，而是建立一个非常重要的迁移关系：
RichardF · Hong Kong
你好，我是 Richard。
我现在是大四学生。平时写代码、读论文，也把课程里真正弄懂的东西记下来。 这里主要放学习笔记、项目复盘，以及一些还在慢慢想清楚的问题。
最近在关注 LLM 推理、检索系统和数据科学，也会继续整理数学与算法基础。
最近写下的查看全部
Pandas 入门到实用：数据读取、清洗、合并、聚合与项目流程
Pandas 是 Python 中最常用的数据分析库之一。它适合处理表格数据，例如 CSV、Excel、实验记录、Kaggle 数据集、推荐系统日志和机器学习训练数据。
如果说 NumPy 更像“高效数组计算工具”，那么 Pandas 更像“带行列标签的表格处理工具”。它最适合做数据分析项目的前半段：读取数据、检查质量、清洗字段、构造特征、合并多张表、聚合统计，最后把干净的数据交给模型或可视化工具。