DSAI4205 动手教程:用 Pandas、Dask、Spark RDD 与 SparkSQL 完成大数据分析入门
上一篇 DSAI4205 笔记偏“全景导览”,解释了大数据分析的系统主线。这一篇换成动手教程:根据 Tutorial 1-4、solution PDF 和配套数据,把 Pandas、Dask、Spark RDD、SparkSQL 串成一条从单机数据分析到分布式数据处理的实践路线。
读完这篇,目标不是记住所有 API,而是建立一个非常重要的迁移关系:
RichardF · Hong Kong
我现在是大四学生。平时写代码、读论文,也把课程里真正弄懂的东西记下来。 这里主要放学习笔记、项目复盘,以及一些还在慢慢想清楚的问题。
最近在关注 LLM 推理、检索系统和数据科学,也会继续整理数学与算法基础。

DSAI4205 动手教程:用 Pandas、Dask、Spark RDD 与 SparkSQL 完成大数据分析入门
上一篇 DSAI4205 笔记偏“全景导览”,解释了大数据分析的系统主线。这一篇换成动手教程:根据 Tutorial 1-4、solution PDF 和配套数据,把 Pandas、Dask、Spark RDD、SparkSQL 串成一条从单机数据分析到分布式数据处理的实践路线。
读完这篇,目标不是记住所有 API,而是建立一个非常重要的迁移关系: