当变量数从一个变成几百、几千甚至超过样本量时,困难不只是“矩阵更大”。样本协方差会不稳定,欧氏距离会失去区分度,普通最小二乘可能没有唯一解,同时做大量检验会产生一批看似显著的假阳性。
AMA4602 High Dimensional Data Analysis 的价值,是把多元统计和现代高维方法接在一起:先用多元正态分布、判别分析、PCA、因子分析和 CCA 建立几何直觉,再进入 ridge、LASSO、高维回归与 FDR 控制。
直接阅读详细公式推导:条件正态、LDA、PCA/SVD、CCA、ridge、LASSO 与 BH。
配套讲义
AMA4602:用 Agent 建立课程复习 RAG
1. 高维到底改变了什么
设 n 是样本数,p 是变量数。传统统计常隐含 n≫p,高维问题则可能满足 p 与 n 同量级,甚至 p>n。
这会带来三个直接后果:
- XTX 的秩最多为 n,当 p>n 时必然不可逆;
- 样本协方差矩阵包含 p(p+1)/2 个参数,估计误差快速积累;
- 在高维空间中,最近与最远样本的距离可能趋于相似,基于距离的方法变得脆弱。
解决思路不是一个算法,而是三类结构假设:低秩、稀疏和正则化。
2. 随机向量与协方差几何
随机向量记作
X=(X1,…,Xp)T.
均值向量与协方差矩阵分别为
μ=E[X],Σ=E[(X−μ)(X−μ)T].
对任意向量 a,线性组合的方差是
Var(aTX)=aTΣa≥0,
所以协方差矩阵必为半正定矩阵。Σ 的特征向量给出数据主要伸展方向,特征值给出这些方向上的方差,这正是 PCA 的几何基础。
相关矩阵消除了量纲:
R=D−1/2ΣD−1/2,
其中 D=diag(σ12,…,σp2)。变量量纲差异大时,应对相关矩阵做分析,而不是直接对协方差矩阵做分析。
3. 多元正态分布
若 X∼Np(μ,Σ),其密度为
f(x)=(2π)p/2∣Σ∣1/21exp[−21(x−μ)TΣ−1(x−μ)].
指数中的二次型是 Mahalanobis distance:
dM2(x,μ)=(x−μ)TΣ−1(x−μ).
它会按方差缩放,并考虑变量相关性。与欧氏距离相比,Mahalanobis distance 不会把“本来就波动很大的方向”误判为异常。
多元正态有两个特别重要的性质:
- 线性变换仍是正态:AX+b∼N(Aμ+b,AΣAT);
- 对联合正态变量,零协方差蕴含独立。
第二条只在联合正态等特殊情形成立,普通随机变量“不相关”并不等价于“独立”。
4. 判别分析:从 Bayes 规则得到 LDA 与 QDA
对类别 k,Bayes 分类器选择后验概率最大的类别:
y^(x)=argkmaxP(Y=k∣X=x).
由 Bayes 公式,只需比较
πkfk(x),
其中 πk 是先验概率,fk 是类条件密度。若
X∣Y=k∼N(μk,Σ)
且各类共享协方差,展开对数密度并删除与 k 无关的项,得到 LDA 判别函数:
δk(x)=xTΣ−1μk−21μkTΣ−1μk+logπk.
它对 x 是线性的,所以决策边界是超平面。若每一类有自己的 Σk,则保留 xTΣk−1x,得到二次边界 QDA。
高维下直接估计 Σ−1 很危险。实践中可以使用 shrinkage covariance、降维后分类,或带正则化的判别分析。
5. PCA:最大方差与最小重构误差
中心化后的数据协方差为 S。第一主成分求解
∥w∥=1maxwTSw.
拉格朗日条件给出
Sw=λw,
所以主成分方向是 S 的特征向量。若数据矩阵的奇异值分解为
X=UDVT,
则
S=n−11VD2VT.
因此 PCA 也可直接通过 SVD 得到,并避免显式形成 XTX。
PCA 还有一个等价解释:前 k 个主成分给出 rank-k 最优重构
rank(X~)≤kmin∥X−X~∥F2.
这解释了 PCA 为什么可用于压缩和去噪。但最大方差不等于最大预测能力,监督学习中不能只凭解释方差选择主成分。
1 2 3 4 5 6 7
| from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA
pipe = make_pipeline(StandardScaler(), PCA(n_components=0.90)) z = pipe.fit_transform(X_train) z_test = pipe.transform(X_test)
|
标准化和 PCA 都必须只在训练集上拟合,避免数据泄漏。
6. 因子分析与 PCA 的区别
因子模型写成
X=μ+ΛF+ε,
其中 F 是少量潜在因子,Λ 是载荷矩阵,ε 是变量特有噪声。若
Cov(F)=I,qquadCov(ε)=Ψ,
且 F 与 ε 不相关,则
Σ=ΛΛT+Ψ.
PCA 直接分解总方差;因子分析假设协方差由共同因子与特有方差生成。前者偏向压缩,后者偏向解释潜变量。旋转方法如 varimax 不会改变模型拟合的共同部分,但会让载荷结构更容易解释。
7. CCA:寻找两组变量之间最相关的投影
设 X∈Rp、Y∈Rq。CCA 寻找 a,b,使
Corr(aTX,bTY)
最大。目标可写成
a,bmaxaTΣXXabTΣYYbaTΣXYb.
固定两个投影的方差为 1 后,可化为广义特征值问题。CCA 不是逐个计算 Xi 与 Yj 的相关系数,而是在两组变量中各找一个线性组合,使组间关系最强。
高维时协方差矩阵可能奇异,标准 CCA 会过拟合。常见修正是 ridge CCA 或 sparse CCA。
8. 聚类:相似度定义比算法名称更重要
层次聚类首先定义样本距离,再定义簇间 linkage:
- single linkage:两簇最近点距离;
- complete linkage:两簇最远点距离;
- average linkage:跨簇点对的平均距离;
- Ward linkage:合并后簇内平方和增加量。
k-means 则优化
k=1∑Kxi∈Ck∑∥xi−μk∥2.
高维聚类前常先做标准化、特征筛选或 PCA。否则大量无关维度会淹没有用距离。聚类结果应检查不同初始化、不同样本扰动和不同距离定义下是否稳定。
9. 为什么高维回归需要正则化
线性模型为
y=Xβ+ε.
当 p>n 时,方程可能存在无穷多个插值解。即使 p<n,高度共线也会使 OLS 方差很大。
Ridge
β^ridge=argβmin{2n1∥y−Xβ∥22+λ∥β∥22}.
其闭式解为
β^ridge=(XTX+2nλI)−1XTy.
ridge 用偏差换方差,并使矩阵求逆更稳定,但通常不会产生精确的零系数。
LASSO
β^lasso=argβmin{2n1∥y−Xβ∥22+λ∥β∥1}.
L1 约束的几何边界带有尖角,最优解更容易落在坐标轴上,因此产生稀疏系数。单变量坐标更新对应 soft-thresholding:
S(z,λ)=sign(z)(∣z∣−λ)+.
LASSO 的变量选择并非天然稳定。强相关变量中,它可能任意选择一个。实践中应使用交叉验证选择 λ,并报告稳定性或使用 Elastic Net。
10. 正则化逻辑回归
逻辑回归概率为
pi=1+exp(−xiTβ)1.
带 L1 惩罚的目标是
βmin−n1i=1∑n[yilogpi+(1−yi)log(1−pi)]+λ∥β∥1.
正则化能缓解完全分离导致的系数发散,也适合文本、基因等 p 很大的稀疏特征。评价时不要只看 accuracy;不平衡数据还需看 PR-AUC、recall、specificity 和校准。
11. 多重检验:为什么 p 值越做越容易“显著”
若同时做 m 个相互独立的零假设检验,每个显著性水平都是 α,全部不犯第一类错误的概率为
(1−α)m.
因此至少出现一个假阳性的概率是
1−(1−α)m,
它随 m 快速增加。Bonferroni 用 α/m 控制 family-wise error rate,但在大规模检验中可能过于保守。
FDR 关注被拒绝假设中的错误比例。记 R 为拒绝数量,V 为错误拒绝数量,则
FDR=E[max(R,1)V].
Benjamini-Hochberg 步骤为:
- 将 p 值排序为 p(1)≤⋯≤p(m);
- 找到最大的 k,满足 p(k)≤kq/m;
- 拒绝前 k 个假设。
q 控制的是期望假发现比例,而不是“每个被拒绝假设为假的概率”。二者不能混为一谈。
推导专题:把核心结论展开
以下是根据前文模型定义补充的推导,不是原课件的逐字证明。阅读时先确定随机向量维度、独立性和矩阵可逆条件,再进行运算。
A. 条件正态:观察一组变量后,另一组如何更新
设联合正态向量分块为 X1∈Rp1、X2∈Rp2,其均值为 μ1,μ2,协方差分块为 Σ11,Σ12,Σ21,Σ22。假设 Σ22 正定。定义残差
Z=X1−μ1−A(X2−μ2).
希望 Z 与 X2 不相关,因此
Cov(Z,X2)=Σ12−AΣ22=0.
解得 A=Σ12Σ22−1。计算残差协方差:
Cov(Z)=Σ11−AΣ21−Σ12AT+AΣ22AT=Σ11−Σ12Σ22−1Σ21.
Z 与 X2 是联合正态向量的线性变换,所以“不相关”在这里能进一步推出“独立”。条件于 X2=x2 后,Z 的分布不变,因而
X1∣X2=x2∼N(μ1+Σ12Σ22−1(x2−μ2),Σ11−Σ12Σ22−1Σ21).
例:两个标准正态变量相关系数为 0.6,观察到 X2=2 后,X1 的条件均值为 1.2,条件方差为 1−0.62=0.64。信息改变了均值,也减少了不确定性。没有联合正态假设时,这个线性预测仍有意义,但不能直接断言完整条件分布是正态。
B. LDA:为什么共同协方差给出直线边界
假设类别先验 πk>0,且各类共享同一个正定协方差 Σ。对数后验在忽略公共归一化项后为
logπk−21log∣Σ∣−21(x−μk)TΣ−1(x−μk)+C.
将二次型完整展开:
(x−μk)TΣ−1(x−μk)=xTΣ−1x−2xTΣ−1μk+μkTΣ−1μk.
前两式中的 xTΣ−1x、log∣Σ∣ 和 C 对所有类别相同,在比较类别时消去,剩下前文的 δk(x)。两类边界满足
xTΣ−1(μ1−μ2)−21(μ1TΣ−1μ1−μ2TΣ−1μ2)+logπ2π1=0.
一维例子:μ1=0,μ2=2,σ2=1 且先验相等,有 δ1=0、δ2=2x−2,因此边界为 x=1。先验变化会移动阈值。QDA 中各类协方差不同,二次项和行列式项都不能消去。
C. PCA:最大方差为什么等于最小重构误差
设 X∈Rn×p 已按列中心化,S=XTX/(n−1)。单位方向 w 上的得分为 Xw,样本方差为
n−1(Xw)T(Xw)=wTSw.
对约束目标求导:
∇w{wTSw−λ(wTw−1)}=2Sw−2λw=0.
因此驻点满足 Sw=λw。仅有驻点还不够:将 w=∑jajvj 展开到正交特征向量基中,且 ∑jaj2=1,得到
wTSw=j∑λjaj2≤λ1.
取 w=v1 达到上界,证明它是全局最大值。
对前 k 个方向组成的 W,满足 WTW=Ik。投影重构为 XWWT,误差为
∥X−XWWT∥F2=tr(XTX)−tr(WTXTXW)=(n−1)[tr(S)−tr(WTSW)].
第一项固定,所以最大化投影方差就等于最小化重构误差。若 X=UDVT,则主方向是 V 的列,特征值为 dj2/(n−1)。丢弃的误差是 (n−1)∑j>kλj。
例:S 的特征值为 9,1。保留第一方向解释 90% 方差,但平均每个自由度仍损失 1 的平方误差;解释方差高不表示分类标签的信息也保留了 90%。
D. CCA:白化之后变成奇异值问题
设 X,Y 已中心化,ΣXX,ΣYY 正定。要求 aTΣXXa=bTΣYYb=1,并最大化 aTΣXYb。
令
u=ΣXX1/2a,v=ΣYY1/2b,M=ΣXX−1/2ΣXYΣYY−1/2.
目标转化为
∥u∥=∥v∥=1maxuTMv.
若 M=UDVT,最大值为第一奇异值 d1,最优方向为
a=ΣXX−1/2u1,b=ΣYY−1/2v1.
进一步由 MMTu1=d12u1 可得
ΣXYΣYY−1ΣYXa=ρ12ΣXXa.
这就是广义特征值形式。p=q=1 时退化为普通相关系数的绝对值。高维下正定条件失效时不能照搬逆矩阵,需先降维或正则化。
E. Ridge:损失中的系数会改变闭式解
延续正文的约定,截距已通过中心化去除,不参与惩罚:
J(β)=2n1(y−Xβ)T(y−Xβ)+λβTβ.
先展开数据项:
(y−Xβ)T(y−Xβ)=yTy−2βTXTy+βTXTXβ.
所以
∇J=−n1XTy+n1XTXβ+2λβ.
梯度为零给出 (XTX+2nλI)β^=XTy。当 λ>0 时,任意非零 z 满足
zT(XTX+2nλI)z=∥Xz∥2+2nλ∥z∥2>0,
因此即使 p>n,解也唯一。写成 SVD 后,每个奇异方向的系数由 1/dj 变成
dj2+2nλdj,
小奇异值方向不再被放大。若目标改成 ∥y−Xβ∥2+λ∥β∥2,闭式解中的惩罚就是 λI,不能跨约定抄公式。
F. LASSO:零系数来自次梯度条件
令 rj=y−∑k=jxkβk,只更新第 j 个系数。子问题为
bmin2n1∥rj−xjb∥2+λ∣b∣.
记 zj=xjTrj/n、aj=xjTxj/n>0。最优性条件是
0∈ajb−zj+λ∂∣b∣.
当 b>0 时,b=(zj−λ)/aj;当 b<0 时,b=(zj+λ)/aj;当 b=0 时,条件变为 zj∈[−λ,λ]。合起来:
b^=ajS(zj,λ).
只有列标准化到 xjTxj/n=1 时,才能省略分母。例:aj=1,zj=0.3,λ=0.5,更新为零;zj=0.8 时更新为 0.3。这比“L1 有尖角”的图像更直接地解释了稀疏性。
G. BH:计算步骤与控制条件都要说明
取 m=5,q=0.05,排序 p 值为 0.003,0.018,0.021,0.20,0.80。对应阈值为 0.01,0.02,0.03,0.04,0.05,最大满足位置为 k=3,所以拒绝前三项。若没有位置满足,拒绝数为零。
这个算法并非在任意相关结构下都控制 FDR。对有效的零假设 p 值,在独立或满足适当正依赖条件时,BH 有
FDR≤mm0q≤q,
其中 m0 是真实零假设数。这里给出适用条件与结论,不把它冒充完整证明。任意依赖情形可考虑更保守的 BY 校正,将 q 替换为 q/∑j=1m1/j。
同样,前文的 1−(1−α)m 要求这 m 个均为真实零假设、检验独立且拒绝概率恰为 α;若仅保证各自检验水平不超过 α,得到的是上界。不能忽略这些前提。
12. 一套可靠的高维分析流程
1 2 3 4 5 6 7 8
| 划分训练/验证数据 -> 只在训练集上清洗和标准化 -> 检查 p/n、共线性、缺失和类别不平衡 -> 建立简单 baseline -> 选择低秩、稀疏或正则化假设 -> 交叉验证超参数 -> 独立测试集评价 -> 稳定性、误差与可解释性检查
|
最常见的数据泄漏包括:在全数据上标准化、先看全部标签再筛特征、用测试集选择主成分数或 λ。高维数据尤其容易通过这些细小泄漏得到虚假的高分。
13. 自测清单
- 能否证明协方差矩阵半正定?
- 能否解释 Mahalanobis distance 为什么考虑相关性?
- 能否从 Bayes 规则推导 LDA 判别函数?
- 能否说明 PCA 的最大方差与最小重构误差两种解释?
- 能否区分 PCA、因子分析和 CCA 的目标?
- 能否解释 p>n 时 OLS 为什么不唯一?
- 能否写出 ridge、LASSO 和 Elastic Net 的目标函数?
- 能否区分 FWER 与 FDR,并手工执行 BH procedure?
真正掌握高维数据分析,不是会调用 PCA() 或 LassoCV(),而是知道算法借助了什么结构、牺牲了什么,以及验证结果时最容易在哪里自欺。