RichardF's Blog

这篇文章根据 DSAI4205 Big Data Analytics 的 Lecture 1-10 和复习材料整理。目标不是把课件逐页翻译一遍，而是把这门课真正要训练的思维串起来：当数据大到单机放不下、处理不过来、结构又越来越复杂时，我们应该如何存储、计算、分析和建模。

如果只背术语，很容易把这门课学成一堆零散概念：HDFS、Dask、Spark、Hive、NLP、PageRank、NoSQL、推荐系统。更好的理解方式是把它们看成同一个问题的不同层次：

$$\text{Data Scale} \rightarrow \text{Distributed Storage} \rightarrow \text{Parallel Computing} \rightarrow \text{Structured / Unstructured Analytics} \rightarrow \text{Graph and Recommendation}$$