RichardF · Hong Kong

你好,我是 Richard。

我现在是大四学生。平时写代码、读论文,也把课程里真正弄懂的东西记下来。 这里主要放学习笔记、项目复盘,以及一些还在慢慢想清楚的问题。

最近在关注 LLM 推理、检索系统和数据科学,也会继续整理数学与算法基础。

拉斐尔《雅典学院》局部
Raphael, The School of Athens
最近写下的查看全部

DSAI4205 动手教程:用 Pandas、Dask、Spark RDD 与 SparkSQL 完成大数据分析入门

上一篇 DSAI4205 笔记偏“全景导览”,解释了大数据分析的系统主线。这一篇换成动手教程:根据 Tutorial 1-4、solution PDF 和配套数据,把 Pandas、Dask、Spark RDD、SparkSQL 串成一条从单机数据分析到分布式数据处理的实践路线。

读完这篇,目标不是记住所有 API,而是建立一个非常重要的迁移关系:

Pandas DataFrame→Dask DataFrame→Spark RDD→Spark DataFrame / SparkSQL\text{Pandas DataFrame} \rightarrow \text{Dask DataFrame} \rightarrow \text{Spark RDD} \rightarrow \text{Spark DataFrame / SparkSQL}

阅读更多
Click to play