RichardF · Hong Kong

你好,我是 Richard。

我现在是大四学生。平时写代码、读论文,也把课程里真正弄懂的东西记下来。 这里主要放学习笔记、项目复盘,以及一些还在慢慢想清楚的问题。

最近在关注 LLM 推理、检索系统和数据科学,也会继续整理数学与算法基础。

拉斐尔《雅典学院》局部
Raphael, The School of Athens
最近写下的查看全部

AMA4602 高维数据分析:从多元正态、PCA 到正则化与 FDR

当变量数从一个变成几百、几千甚至超过样本量时,困难不只是“矩阵更大”。样本协方差会不稳定,欧氏距离会失去区分度,普通最小二乘可能没有唯一解,同时做大量检验会产生一批看似显著的假阳性。

AMA4602 High Dimensional Data Analysis 的价值,是把多元统计和现代高维方法接在一起:先用多元正态分布、判别分析、PCA、因子分析和 CCA 建立几何直觉,再进入 ridge、LASSO、高维回归与 FDR 控制。

阅读更多

AMA2233 数据分析与可视化:从概率模拟、回归到图与降维

数据可视化并不是在分析结束以后“画一张好看的图”。它更重要的作用,是把概率、模型和结构变成可以检查的证据:大数定律是否开始显现,时间序列是否有趋势,回归残差是否暴露了模型缺陷,网络中哪些节点真正重要,高维数据能否投影到低维空间而不丢掉主要信息。

这篇文章根据 AMA2233 Data Analytics and Visualization 的课程讲义整理,主线是:

1
2
3
可视化原则 -> 大数定律与中心极限定理 -> Monte Carlo
-> 时间序列 -> 线性/逻辑回归 -> 聚类
-> PageRank 与图划分 -> PCA 降维

目标不是记住十几种图表,而是学会从问题出发选择表示方法,并知道图背后的统计量和算法在计算什么。

阅读更多
Click to play