AMA2233 数据分析与可视化:从概率模拟、回归到图与降维
数据可视化并不是在分析结束以后“画一张好看的图”。它更重要的作用,是把概率、模型和结构变成可以检查的证据:大数定律是否开始显现,时间序列是否有趋势,回归残差是否暴露了模型缺陷,网络中哪些节点真正重要,高维数据能否投影到低维空间而不丢掉主要信息。
这篇文章根据 AMA2233 Data Analytics and Visualization 的课程讲义整理,主线是:
1 | 可视化原则 -> 大数定律与中心极限定理 -> Monte Carlo |
目标不是记住十几种图表,而是学会从问题出发选择表示方法,并知道图背后的统计量和算法在计算什么。
配套讲义
- Lecture 1:可视化、大数定律与课程主线
- Lecture 2:大数定律、抽样与概率可视化
- Lecture 3:中心极限定理
- Lecture 4:Monte Carlo 方法
- Lecture 5:随机游走与时间序列
- Lecture 6:金融时间序列与移动平均
- Lecture 7:线性回归
- Lecture 8:极大似然与逻辑回归
- Lecture 9:聚类
- Lecture 10:PageRank 与图数据
- Lecture 11:图划分与降维
原始速查表文件超过 34 MB,且扫描质量有限,因此不直接挂载。正文和分讲讲义已经覆盖课程核心内容。
1. 一张图首先要回答问题
动手画图前,先把问题写成一句话。例如:
- 比较类别:哪个部门的投诉最多?
- 观察分布:等待时间是否右偏,是否存在异常值?
- 观察趋势:访问量是否具有周周期?
- 研究关系:广告投入与销量是否近似线性?
- 表达组成:总预算由哪些部分构成?
图表只是编码方式。位置和长度通常比面积、角度更容易准确比较,因此条形图往往比饼图可靠。颜色适合区分类别或表达连续强度,但不应承担全部信息。
| 问题 | 常用图形 | 容易犯的错误 |
|---|---|---|
| 类别比较 | bar chart | 截断坐标轴夸大差异 |
| 时间趋势 | line chart | 把无序类别强行连线 |
| 数值分布 | histogram / boxplot | 随意选择组距 |
| 两变量关系 | scatter plot | 把相关性解释成因果 |
| 构成比例 | stacked bar | 类别过多导致无法比较 |
一个实用指标是 data-ink ratio:真正承载数据的墨水应占主要部分。网格、阴影、3D 效果和装饰如果不帮助读者判断,就应当减弱或删除。
2. 大数定律:模拟为什么能够逼近真值
设 独立同分布,且
样本均值为
因为期望具有线性性,
独立性让方差可以相加:
再由 Chebyshev 不等式,任意 都有
这就是弱大数定律:样本均值依概率收敛到总体均值。可视化时,不应只画最终均值,而应画 running mean,观察估计如何随样本量逐渐稳定。
1 | import numpy as np |
3. 中心极限定理:误差为什么常呈钟形
大数定律告诉我们“会靠近”,中心极限定理进一步描述“以什么尺度、什么形状靠近”。在有限方差条件下,
等价地,大样本下
标准误差是 ,所以样本量扩大四倍,标准误差只缩小一半。这个平方根规律解释了为什么“多收一点数据”并不会线性提高精度。
验证 CLT 时应重复抽样:每次从同一个非正态总体抽取 个样本,记录样本均值,再画这些均值的直方图。画单次样本的直方图并不能验证 CLT。
4. Monte Carlo:把积分变成平均值
若 ,则
因此
这一步把数值积分转化为样本均值。估计量
是无偏的,而误差量级通常为 。Monte Carlo 的优势不在一维积分,而在高维问题:传统网格随维度指数增长,随机抽样的收敛阶不直接依赖维度。
1 | import numpy as np |
报告结果时不要只给一个小数,还要给 Monte Carlo standard error,否则读者不知道模拟误差有多大。
5. 时间序列:顺序本身就是信息
时间序列 不能像普通表格一样随意打乱。常见结构包括:
其中 是趋势, 是季节性, 是随机波动。
长度为 的移动平均可以写成
它相当于低通滤波:削弱短期噪声,保留缓慢变化。但窗口越大,曲线越平滑,响应突变也越慢。因此窗口大小是偏差与敏感度之间的选择,不能只凭“看起来顺眼”。
金融 K 线中的开盘、最高、最低和收盘价是对单个时间段的压缩表示。K 线适合展示价格区间,不适合证明未来涨跌;可视化模式不是可交易信号。
6. 线性回归:最小二乘与极大似然是同一条路
矩阵形式的线性模型为
最小二乘最小化
对 求梯度:
令梯度为零得到正规方程
若 可逆,则
高斯噪声下,似然函数的负对数只比平方误差多常数项,所以极大似然估计与最小二乘解一致。
拟合以后至少检查:残差是否围绕 0 随机分布、方差是否稳定、是否存在非线性结构、是否有高杠杆点。 高不等于模型正确,更不意味着因果关系成立。
7. 逻辑回归:从线性分数到概率
二分类中,直接令 会产生小于 0 或大于 1 的“概率”。逻辑回归改为建模 log-odds:
解出概率:
对标签 ,负对数似然为
这就是 binary cross-entropy。决策阈值不必固定为 0.5;类别不平衡或误判代价不同,应在验证集上根据 precision、recall、F1 或业务成本选择阈值。
8. 聚类:没有标签时怎样定义“相似”
k-means 的目标是最小化簇内平方和:
算法交替执行:
- 把每个样本分给最近的中心;
- 用簇内样本均值更新中心;
- 直到分配不再变化或目标函数下降很小。
每一步都不会增大 ,所以算法会收敛,但只保证局部最优。实际使用时应标准化特征、设置多次随机初始化,并使用 silhouette score、稳定性和业务可解释性共同判断 。
9. 图数据:PageRank 是一个平稳分布问题
普通入度只计算“有多少页面指向我”,PageRank 还考虑“是谁指向我”。令 为列随机转移矩阵,阻尼系数 ,则 PageRank 向量满足
其中 是 teleportation 分布。于是
也可以用幂迭代:
teleportation 不只是工程补丁,它让随机游走能够离开死胡同,并在常见条件下得到唯一稳定解。
图划分则希望组内连接强、组间连接弱。仅最小化 cut 容易把单个节点切出去,因此常使用 normalized cut,把跨组边权除以组的总体连接强度。
10. PCA:保留最大方差的低维投影
对中心化数据矩阵 ,样本协方差矩阵为
第一主成分寻找单位向量 ,使投影方差最大:
使用拉格朗日乘子:
求导并令其为零:
因此第一主成分方向就是最大特征值对应的特征向量,后续方向依次取互相正交的其余特征向量。前 个主成分的解释方差比为
PCA 对量纲敏感。身高以厘米、收入以万元计时,应先标准化,否则方差最大的量纲可能主导全部结果。
11. 一套可复用的分析流程
1 | 1. 明确问题与分析单位 |
最危险的流程是先打开数据、漫无目的地尝试图表,再挑一张“有故事”的结果。更可靠的做法是先写问题和评价标准,保留探索痕迹,并区分探索性发现与确认性结论。
12. 自测清单
- 能否从 Chebyshev 不等式推出弱大数定律?
- 能否解释 LLN 与 CLT 分别回答什么问题?
- 能否从期望推导 Monte Carlo 积分估计量?
- 能否解释移动平均窗口的偏差与响应速度?
- 能否从平方损失推导正规方程?
- 能否从 log-odds 推出 sigmoid?
- 能否写出 k-means 的目标函数并解释局部最优?
- 能否把 PageRank 写成随机游走的平稳方程?
- 能否用 Rayleigh quotient 推导 PCA 的特征向量解?
如果这些问题能在不看讲义的情况下讲清楚,这门课的知识就不再是互相分离的图表和算法,而是一套从随机性、结构到表达的完整分析语言。
AMA2233 数据分析与可视化:从概率模拟、回归到图与降维
https://richardf123.github.io/2026/11/16/ama2233-data-analytics-visualization-guide/