DSAI4205 动手教程：用 Pandas、Dask、Spark RDD 与 SparkSQL 完成大数据分析入门
上一篇 DSAI4205 笔记偏“全景导览”，解释了大数据分析的系统主线。这一篇换成动手教程：根据 Tutorial 1-4、solution PDF 和配套数据，把 Pandas、Dask、Spark RDD、SparkSQL 串成一条从单机数据分析到分布式数据处理的实践路线。
读完这篇，目标不是记住所有 API，而是建立一个非常重要的迁移关系：
Data Science / NLP / LLM Applications
大四学生，正在系统整理 Python 工程、数据科学、机器学习、NLP/LLM 应用、 数学笔记和项目复盘。这里既是学习档案，也是逐步成型的技术作品集。
把课程项目、技术笔记和实验记录整理成长期可回看的作品体系。
从传统机器学习 baseline 到 DistilBERT + LoRA，再到 XGBoost hybrid 的完整情感分类项目。
DistilBERT / LoRA / XGBoost / Macro F1Python、C++、算法题、项目结构和可复现脚本。
02Math for ML线性代数、SVD、张量分解、优化和模型背后的数学。
03Data SystemsPandas、Dask、Spark、特征工程和大数据分析。
04Portfolio Output把项目文章、GitHub、实验结果整理成可面试讲述的作品。
DSAI4205 动手教程：用 Pandas、Dask、Spark RDD 与 SparkSQL 完成大数据分析入门
上一篇 DSAI4205 笔记偏“全景导览”，解释了大数据分析的系统主线。这一篇换成动手教程：根据 Tutorial 1-4、solution PDF 和配套数据，把 Pandas、Dask、Spark RDD、SparkSQL 串成一条从单机数据分析到分布式数据处理的实践路线。
读完这篇，目标不是记住所有 API，而是建立一个非常重要的迁移关系：
DSAI4205 Big Data Analytics 全景导览：从分布式系统到 NLP、图分析与推荐系统
这篇文章根据 DSAI4205 Big Data Analytics 的 Lecture 1-10 和复习材料整理。目标不是把课件逐页翻译一遍，而是把这门课真正要训练的思维串起来：当数据大到单机放不下、处理不过来、结构又越来越复杂时，我们应该如何存储、计算、分析和建模。
如果只背术语，很容易把这门课学成一堆零散概念：HDFS、Dask、Spark、Hive、NLP、PageRank、NoSQL、推荐系统。更好的理解方式是把它们看成同一个问题的不同层次：