AMA2233 数据分析与可视化:从概率模拟、回归到图与降维

数据可视化并不是在分析结束以后“画一张好看的图”。它更重要的作用,是把概率、模型和结构变成可以检查的证据:大数定律是否开始显现,时间序列是否有趋势,回归残差是否暴露了模型缺陷,网络中哪些节点真正重要,高维数据能否投影到低维空间而不丢掉主要信息。

这篇文章根据 AMA2233 Data Analytics and Visualization 的课程讲义整理,主线是:

1
2
3
可视化原则 -> 大数定律与中心极限定理 -> Monte Carlo
-> 时间序列 -> 线性/逻辑回归 -> 聚类
-> PageRank 与图划分 -> PCA 降维

目标不是记住十几种图表,而是学会从问题出发选择表示方法,并知道图背后的统计量和算法在计算什么。

配套讲义

原始速查表文件超过 34 MB,且扫描质量有限,因此不直接挂载。正文和分讲讲义已经覆盖课程核心内容。

AMA2233:用 Agent 建立课程复习 RAG

1. 一张图首先要回答问题

动手画图前,先把问题写成一句话。例如:

  • 比较类别:哪个部门的投诉最多?
  • 观察分布:等待时间是否右偏,是否存在异常值?
  • 观察趋势:访问量是否具有周周期?
  • 研究关系:广告投入与销量是否近似线性?
  • 表达组成:总预算由哪些部分构成?

图表只是编码方式。位置和长度通常比面积、角度更容易准确比较,因此条形图往往比饼图可靠。颜色适合区分类别或表达连续强度,但不应承担全部信息。

问题 常用图形 容易犯的错误
类别比较 bar chart 截断坐标轴夸大差异
时间趋势 line chart 把无序类别强行连线
数值分布 histogram / boxplot 随意选择组距
两变量关系 scatter plot 把相关性解释成因果
构成比例 stacked bar 类别过多导致无法比较

一个实用指标是 data-ink ratio:真正承载数据的墨水应占主要部分。网格、阴影、3D 效果和装饰如果不帮助读者判断,就应当减弱或删除。

2. 大数定律:模拟为什么能够逼近真值

设 X1,…,XnX_1,\ldots,X_n 独立同分布,且

E[Xi]=μ,Var⁡(Xi)=σ2<∞.E[X_i]=\mu,\qquad \operatorname{Var}(X_i)=\sigma^2<\infty.

样本均值为

Xˉn=1n∑i=1nXi.\bar X_n=\frac{1}{n}\sum_{i=1}^nX_i.

因为期望具有线性性,

E[Xˉn]=μ.E[\bar X_n]=\mu.

独立性让方差可以相加:

Var⁡(Xˉn)=1n2∑i=1nVar⁡(Xi)=σ2n.\operatorname{Var}(\bar X_n) =\frac{1}{n^2}\sum_{i=1}^n\operatorname{Var}(X_i) =\frac{\sigma^2}{n}.

再由 Chebyshev 不等式,任意 ε>0\varepsilon>0 都有

P(∣Xˉn−μ∣≥ε)≤σ2nε2⟶0.P(|\bar X_n-\mu|\geq\varepsilon) \leq \frac{\sigma^2}{n\varepsilon^2} \longrightarrow 0.

这就是弱大数定律:样本均值依概率收敛到总体均值。可视化时,不应只画最终均值,而应画 running mean,观察估计如何随样本量逐渐稳定。

1
2
3
4
5
6
7
8
9
10
11
12
13
import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(42)
x = rng.exponential(scale=2.0, size=5000)
running_mean = np.cumsum(x) / np.arange(1, len(x) + 1)

plt.plot(running_mean, label="running mean")
plt.axhline(2.0, color="crimson", linestyle="--", label="true mean")
plt.xlabel("sample size")
plt.ylabel("estimate")
plt.legend()
plt.show()

3. 中心极限定理:误差为什么常呈钟形

大数定律告诉我们“会靠近”,中心极限定理进一步描述“以什么尺度、什么形状靠近”。在有限方差条件下,

n(Xˉn−μ)σ→dN(0,1).\frac{\sqrt n(\bar X_n-\mu)}{\sigma} \xrightarrow{d}N(0,1).

等价地,大样本下

Xˉn≈N(μ,σ2n).\bar X_n\approx N\left(\mu,\frac{\sigma^2}{n}\right).

标准误差是 σ/n\sigma/\sqrt n,所以样本量扩大四倍,标准误差只缩小一半。这个平方根规律解释了为什么“多收一点数据”并不会线性提高精度。

验证 CLT 时应重复抽样:每次从同一个非正态总体抽取 nn 个样本,记录样本均值,再画这些均值的直方图。画单次样本的直方图并不能验证 CLT。

4. Monte Carlo:把积分变成平均值

若 U∼Uniform⁡(a,b)U\sim\operatorname{Uniform}(a,b),则

E[f(U)]=1b−a∫abf(x) dx.E[f(U)]=\frac{1}{b-a}\int_a^b f(x)\,dx.

因此

∫abf(x) dx=(b−a)E[f(U)]≈b−an∑i=1nf(Ui).\int_a^b f(x)\,dx =(b-a)E[f(U)] \approx \frac{b-a}{n}\sum_{i=1}^n f(U_i).

这一步把数值积分转化为样本均值。估计量

I^n=b−an∑i=1nf(Ui)\hat I_n=\frac{b-a}{n}\sum_{i=1}^n f(U_i)

是无偏的,而误差量级通常为 O(n−1/2)O(n^{-1/2})。Monte Carlo 的优势不在一维积分,而在高维问题:传统网格随维度指数增长,随机抽样的收敛阶不直接依赖维度。

1
2
3
4
5
6
7
8
import numpy as np

rng = np.random.default_rng(0)
n = 200_000
u = rng.uniform(0.0, 1.0, n)
estimate = np.mean(np.exp(-(u ** 2)))
standard_error = np.std(np.exp(-(u ** 2)), ddof=1) / np.sqrt(n)
print(estimate, standard_error)

报告结果时不要只给一个小数,还要给 Monte Carlo standard error,否则读者不知道模拟误差有多大。

5. 时间序列:顺序本身就是信息

时间序列 x1,…,xTx_1,\ldots,x_T 不能像普通表格一样随意打乱。常见结构包括:

xt=Tt+St+Rt,x_t=T_t+S_t+R_t,

其中 TtT_t 是趋势,StS_t 是季节性,RtR_t 是随机波动。

长度为 kk 的移动平均可以写成

Mt=1k∑j=0k−1xt−j.M_t=\frac{1}{k}\sum_{j=0}^{k-1}x_{t-j}.

它相当于低通滤波:削弱短期噪声,保留缓慢变化。但窗口越大,曲线越平滑,响应突变也越慢。因此窗口大小是偏差与敏感度之间的选择,不能只凭“看起来顺眼”。

金融 K 线中的开盘、最高、最低和收盘价是对单个时间段的压缩表示。K 线适合展示价格区间,不适合证明未来涨跌;可视化模式不是可交易信号。

6. 线性回归:最小二乘与极大似然是同一条路

矩阵形式的线性模型为

y=Xβ+ε,ε∼N(0,σ2I).y=X\beta+\varepsilon, \qquad \varepsilon\sim N(0,\sigma^2I).

最小二乘最小化

L(β)=∥y−Xβ∥22.L(\beta)=\|y-X\beta\|_2^2.

对 β\beta 求梯度:

∇βL=−2XT(y−Xβ).\nabla_\beta L=-2X^T(y-X\beta).

令梯度为零得到正规方程

XTXβ^=XTy,X^TX\hat\beta=X^Ty,

若 XTXX^TX 可逆,则

β^=(XTX)−1XTy.\hat\beta=(X^TX)^{-1}X^Ty.

高斯噪声下,似然函数的负对数只比平方误差多常数项,所以极大似然估计与最小二乘解一致。

拟合以后至少检查:残差是否围绕 0 随机分布、方差是否稳定、是否存在非线性结构、是否有高杠杆点。R2R^2 高不等于模型正确,更不意味着因果关系成立。

7. 逻辑回归:从线性分数到概率

二分类中,直接令 p(x)=xTβp(x)=x^T\beta 会产生小于 0 或大于 1 的“概率”。逻辑回归改为建模 log-odds:

log⁡p(x)1−p(x)=xTβ.\log\frac{p(x)}{1-p(x)}=x^T\beta.

解出概率:

p(x)=σ(xTβ)=11+e−xTβ.p(x)=\sigma(x^T\beta) =\frac{1}{1+e^{-x^T\beta}}.

对标签 yi∈{0,1}y_i\in\{0,1\},负对数似然为

−ℓ(β)=−∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)],-\ell(\beta) =-\sum_{i=1}^n\left[y_i\log p_i+(1-y_i)\log(1-p_i)\right],

这就是 binary cross-entropy。决策阈值不必固定为 0.5;类别不平衡或误判代价不同,应在验证集上根据 precision、recall、F1 或业务成本选择阈值。

8. 聚类:没有标签时怎样定义“相似”

k-means 的目标是最小化簇内平方和:

J=∑k=1K∑xi∈Ck∥xi−μk∥22.J=\sum_{k=1}^K\sum_{x_i\in C_k}\|x_i-\mu_k\|_2^2.

算法交替执行:

  1. 把每个样本分给最近的中心;
  2. 用簇内样本均值更新中心;
  3. 直到分配不再变化或目标函数下降很小。

每一步都不会增大 JJ,所以算法会收敛,但只保证局部最优。实际使用时应标准化特征、设置多次随机初始化,并使用 silhouette score、稳定性和业务可解释性共同判断 KK。

9. 图数据:PageRank 是一个平稳分布问题

普通入度只计算“有多少页面指向我”,PageRank 还考虑“是谁指向我”。令 PP 为列随机转移矩阵,阻尼系数 α∈(0,1)\alpha\in(0,1),则 PageRank 向量满足

r=αPr+(1−α)v,r=\alpha Pr+(1-\alpha)v,

其中 vv 是 teleportation 分布。于是

(I−αP)r=(1−α)v.(I-\alpha P)r=(1-\alpha)v.

也可以用幂迭代:

r(t+1)=αPr(t)+(1−α)v.r^{(t+1)}=\alpha Pr^{(t)}+(1-\alpha)v.

teleportation 不只是工程补丁,它让随机游走能够离开死胡同,并在常见条件下得到唯一稳定解。

图划分则希望组内连接强、组间连接弱。仅最小化 cut 容易把单个节点切出去,因此常使用 normalized cut,把跨组边权除以组的总体连接强度。

10. PCA:保留最大方差的低维投影

对中心化数据矩阵 X∈Rn×pX\in\mathbb R^{n\times p},样本协方差矩阵为

S=1n−1XTX.S=\frac{1}{n-1}X^TX.

第一主成分寻找单位向量 ww,使投影方差最大:

max⁡∥w∥2=1wTSw.\max_{\|w\|_2=1}w^TSw.

使用拉格朗日乘子:

L(w,λ)=wTSw−λ(wTw−1).\mathcal L(w,\lambda)=w^TSw-\lambda(w^Tw-1).

求导并令其为零:

Sw=λw.Sw=\lambda w.

因此第一主成分方向就是最大特征值对应的特征向量,后续方向依次取互相正交的其余特征向量。前 kk 个主成分的解释方差比为

∑j=1kλj∑j=1pλj.\frac{\sum_{j=1}^k\lambda_j}{\sum_{j=1}^p\lambda_j}.

PCA 对量纲敏感。身高以厘米、收入以万元计时,应先标准化,否则方差最大的量纲可能主导全部结果。

11. 一套可复用的分析流程

1
2
3
4
5
6
7
1. 明确问题与分析单位
2. 检查缺失、重复、异常和量纲
3. 用分布图与关系图做 EDA
4. 建立最简单的 baseline
5. 检查模型假设与残差
6. 用独立验证数据评价
7. 把结论、限制和不确定性一起表达

最危险的流程是先打开数据、漫无目的地尝试图表,再挑一张“有故事”的结果。更可靠的做法是先写问题和评价标准,保留探索痕迹,并区分探索性发现与确认性结论。

12. 自测清单

  • 能否从 Chebyshev 不等式推出弱大数定律?
  • 能否解释 LLN 与 CLT 分别回答什么问题?
  • 能否从期望推导 Monte Carlo 积分估计量?
  • 能否解释移动平均窗口的偏差与响应速度?
  • 能否从平方损失推导正规方程?
  • 能否从 log-odds 推出 sigmoid?
  • 能否写出 k-means 的目标函数并解释局部最优?
  • 能否把 PageRank 写成随机游走的平稳方程?
  • 能否用 Rayleigh quotient 推导 PCA 的特征向量解?

如果这些问题能在不看讲义的情况下讲清楚,这门课的知识就不再是互相分离的图表和算法,而是一套从随机性、结构到表达的完整分析语言。

AMA2233 数据分析与可视化:从概率模拟、回归到图与降维

https://richardf123.github.io/2026/11/16/ama2233-data-analytics-visualization-guide/

作者

方楚鸣

发布于

2026-11-16

更新于

2026-11-16

许可协议

Click to play