AMA4602 高维数据分析:从多元正态、PCA 到正则化与 FDR

当变量数从一个变成几百、几千甚至超过样本量时,困难不只是“矩阵更大”。样本协方差会不稳定,欧氏距离会失去区分度,普通最小二乘可能没有唯一解,同时做大量检验会产生一批看似显著的假阳性。

AMA4602 High Dimensional Data Analysis 的价值,是把多元统计和现代高维方法接在一起:先用多元正态分布、判别分析、PCA、因子分析和 CCA 建立几何直觉,再进入 ridge、LASSO、高维回归与 FDR 控制。

直接阅读详细公式推导:条件正态、LDA、PCA/SVD、CCA、ridge、LASSO 与 BH。

配套讲义

AMA4602:用 Agent 建立课程复习 RAG

1. 高维到底改变了什么

设 nn 是样本数,pp 是变量数。传统统计常隐含 n≫pn\gg p,高维问题则可能满足 pp 与 nn 同量级,甚至 p>np>n。

这会带来三个直接后果:

  1. XTXX^TX 的秩最多为 nn,当 p>np>n 时必然不可逆;
  2. 样本协方差矩阵包含 p(p+1)/2p(p+1)/2 个参数,估计误差快速积累;
  3. 在高维空间中,最近与最远样本的距离可能趋于相似,基于距离的方法变得脆弱。

解决思路不是一个算法,而是三类结构假设:低秩、稀疏和正则化。

2. 随机向量与协方差几何

随机向量记作

X=(X1,…,Xp)T.X=(X_1,\ldots,X_p)^T.

均值向量与协方差矩阵分别为

μ=E[X],Σ=E[(X−μ)(X−μ)T].\mu=E[X],\qquad \Sigma=E[(X-\mu)(X-\mu)^T].

对任意向量 aa,线性组合的方差是

Var⁡(aTX)=aTΣa≥0,\operatorname{Var}(a^TX)=a^T\Sigma a\geq0,

所以协方差矩阵必为半正定矩阵。Σ\Sigma 的特征向量给出数据主要伸展方向,特征值给出这些方向上的方差,这正是 PCA 的几何基础。

相关矩阵消除了量纲:

R=D−1/2ΣD−1/2,R=D^{-1/2}\Sigma D^{-1/2},

其中 D=diag⁡(σ12,…,σp2)D=\operatorname{diag}(\sigma_1^2,\ldots,\sigma_p^2)。变量量纲差异大时,应对相关矩阵做分析,而不是直接对协方差矩阵做分析。

3. 多元正态分布

若 X∼Np(μ,Σ)X\sim N_p(\mu,\Sigma),其密度为

f(x)=1(2π)p/2∣Σ∣1/2exp⁡[−12(x−μ)TΣ−1(x−μ)].f(x)=\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}} \exp\left[-\frac12(x-\mu)^T\Sigma^{-1}(x-\mu)\right].

指数中的二次型是 Mahalanobis distance:

dM2(x,μ)=(x−μ)TΣ−1(x−μ).d_M^2(x,\mu)=(x-\mu)^T\Sigma^{-1}(x-\mu).

它会按方差缩放,并考虑变量相关性。与欧氏距离相比,Mahalanobis distance 不会把“本来就波动很大的方向”误判为异常。

多元正态有两个特别重要的性质:

  • 线性变换仍是正态:AX+b∼N(Aμ+b,AΣAT)AX+b\sim N(A\mu+b,A\Sigma A^T);
  • 对联合正态变量,零协方差蕴含独立。

第二条只在联合正态等特殊情形成立,普通随机变量“不相关”并不等价于“独立”。

4. 判别分析:从 Bayes 规则得到 LDA 与 QDA

对类别 kk,Bayes 分类器选择后验概率最大的类别:

y^(x)=arg⁡max⁡kP(Y=k∣X=x).\hat y(x)=\arg\max_k P(Y=k\mid X=x).

由 Bayes 公式,只需比较

πkfk(x),\pi_k f_k(x),

其中 πk\pi_k 是先验概率,fkf_k 是类条件密度。若

X∣Y=k∼N(μk,Σ)X\mid Y=k\sim N(\mu_k,\Sigma)

且各类共享协方差,展开对数密度并删除与 kk 无关的项,得到 LDA 判别函数:

δk(x)=xTΣ−1μk−12μkTΣ−1μk+log⁡πk.\delta_k(x)=x^T\Sigma^{-1}\mu_k -\frac12\mu_k^T\Sigma^{-1}\mu_k+\log\pi_k.

它对 xx 是线性的,所以决策边界是超平面。若每一类有自己的 Σk\Sigma_k,则保留 xTΣk−1xx^T\Sigma_k^{-1}x,得到二次边界 QDA。

高维下直接估计 Σ−1\Sigma^{-1} 很危险。实践中可以使用 shrinkage covariance、降维后分类,或带正则化的判别分析。

5. PCA:最大方差与最小重构误差

中心化后的数据协方差为 SS。第一主成分求解

max⁡∥w∥=1wTSw.\max_{\|w\|=1}w^TSw.

拉格朗日条件给出

Sw=λw,Sw=\lambda w,

所以主成分方向是 SS 的特征向量。若数据矩阵的奇异值分解为

X=UDVT,X=UDV^T,

则

S=1n−1VD2VT.S=\frac{1}{n-1}V D^2 V^T.

因此 PCA 也可直接通过 SVD 得到,并避免显式形成 XTXX^TX。

PCA 还有一个等价解释:前 kk 个主成分给出 rank-kk 最优重构

min⁡rank⁡(X~)≤k∥X−X~∥F2.\min_{\operatorname{rank}(\tilde X)\leq k}\|X-\tilde X\|_F^2.

这解释了 PCA 为什么可用于压缩和去噪。但最大方差不等于最大预测能力,监督学习中不能只凭解释方差选择主成分。

1
2
3
4
5
6
7
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

pipe = make_pipeline(StandardScaler(), PCA(n_components=0.90))
z = pipe.fit_transform(X_train)
z_test = pipe.transform(X_test)

标准化和 PCA 都必须只在训练集上拟合,避免数据泄漏。

6. 因子分析与 PCA 的区别

因子模型写成

X=μ+ΛF+ε,X=\mu+\Lambda F+\varepsilon,

其中 FF 是少量潜在因子,Λ\Lambda 是载荷矩阵,ε\varepsilon 是变量特有噪声。若

Cov⁡(F)=I,qquadCov⁡(ε)=Ψ,\operatorname{Cov}(F)=I,qquad \operatorname{Cov}(\varepsilon)=\Psi,

且 FF 与 ε\varepsilon 不相关,则

Σ=ΛΛT+Ψ.\Sigma=\Lambda\Lambda^T+\Psi.

PCA 直接分解总方差;因子分析假设协方差由共同因子与特有方差生成。前者偏向压缩,后者偏向解释潜变量。旋转方法如 varimax 不会改变模型拟合的共同部分,但会让载荷结构更容易解释。

7. CCA:寻找两组变量之间最相关的投影

设 X∈RpX\in\mathbb R^p、Y∈RqY\in\mathbb R^q。CCA 寻找 a,ba,b,使

Corr⁡(aTX,bTY)\operatorname{Corr}(a^TX,b^TY)

最大。目标可写成

max⁡a,baTΣXYbaTΣXXabTΣYYb.\max_{a,b} \frac{a^T\Sigma_{XY}b} {\sqrt{a^T\Sigma_{XX}a}\sqrt{b^T\Sigma_{YY}b}}.

固定两个投影的方差为 1 后,可化为广义特征值问题。CCA 不是逐个计算 XiX_i 与 YjY_j 的相关系数,而是在两组变量中各找一个线性组合,使组间关系最强。

高维时协方差矩阵可能奇异,标准 CCA 会过拟合。常见修正是 ridge CCA 或 sparse CCA。

8. 聚类:相似度定义比算法名称更重要

层次聚类首先定义样本距离,再定义簇间 linkage:

  • single linkage:两簇最近点距离;
  • complete linkage:两簇最远点距离;
  • average linkage:跨簇点对的平均距离;
  • Ward linkage:合并后簇内平方和增加量。

k-means 则优化

∑k=1K∑xi∈Ck∥xi−μk∥2.\sum_{k=1}^K\sum_{x_i\in C_k}\|x_i-\mu_k\|^2.

高维聚类前常先做标准化、特征筛选或 PCA。否则大量无关维度会淹没有用距离。聚类结果应检查不同初始化、不同样本扰动和不同距离定义下是否稳定。

9. 为什么高维回归需要正则化

线性模型为

y=Xβ+ε.y=X\beta+\varepsilon.

当 p>np>n 时,方程可能存在无穷多个插值解。即使 p<np<n,高度共线也会使 OLS 方差很大。

Ridge

β^ridge=arg⁡min⁡β{12n∥y−Xβ∥22+λ∥β∥22}.\hat\beta_{\text{ridge}} =\arg\min_\beta \left\{\frac{1}{2n}\|y-X\beta\|_2^2 +\lambda\|\beta\|_2^2\right\}.

其闭式解为

β^ridge=(XTX+2nλI)−1XTy.\hat\beta_{\text{ridge}} =\left(X^TX+2n\lambda I\right)^{-1}X^Ty.

ridge 用偏差换方差,并使矩阵求逆更稳定,但通常不会产生精确的零系数。

LASSO

β^lasso=arg⁡min⁡β{12n∥y−Xβ∥22+λ∥β∥1}.\hat\beta_{\text{lasso}} =\arg\min_\beta \left\{\frac{1}{2n}\|y-X\beta\|_2^2 +\lambda\|\beta\|_1\right\}.

L1 约束的几何边界带有尖角,最优解更容易落在坐标轴上,因此产生稀疏系数。单变量坐标更新对应 soft-thresholding:

S(z,λ)=sign⁡(z)(∣z∣−λ)+.S(z,\lambda)=\operatorname{sign}(z)(|z|-\lambda)_+.

LASSO 的变量选择并非天然稳定。强相关变量中,它可能任意选择一个。实践中应使用交叉验证选择 λ\lambda,并报告稳定性或使用 Elastic Net。

10. 正则化逻辑回归

逻辑回归概率为

pi=11+exp⁡(−xiTβ).p_i=\frac{1}{1+\exp(-x_i^T\beta)}.

带 L1 惩罚的目标是

min⁡β−1n∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)]+λ∥β∥1.\min_\beta -\frac1n\sum_{i=1}^n \left[y_i\log p_i+(1-y_i)\log(1-p_i)\right] +\lambda\|\beta\|_1.

正则化能缓解完全分离导致的系数发散,也适合文本、基因等 pp 很大的稀疏特征。评价时不要只看 accuracy;不平衡数据还需看 PR-AUC、recall、specificity 和校准。

11. 多重检验:为什么 p 值越做越容易“显著”

若同时做 mm 个相互独立的零假设检验,每个显著性水平都是 α\alpha,全部不犯第一类错误的概率为

(1−α)m.(1-\alpha)^m.

因此至少出现一个假阳性的概率是

1−(1−α)m,1-(1-\alpha)^m,

它随 mm 快速增加。Bonferroni 用 α/m\alpha/m 控制 family-wise error rate,但在大规模检验中可能过于保守。

FDR 关注被拒绝假设中的错误比例。记 RR 为拒绝数量,VV 为错误拒绝数量,则

FDR⁡=E[Vmax⁡(R,1)].\operatorname{FDR}=E\left[\frac{V}{\max(R,1)}\right].

Benjamini-Hochberg 步骤为:

  1. 将 p 值排序为 p(1)≤⋯≤p(m)p_{(1)}\leq\cdots\leq p_{(m)};
  2. 找到最大的 kk,满足 p(k)≤kq/mp_{(k)}\leq kq/m;
  3. 拒绝前 kk 个假设。

qq 控制的是期望假发现比例,而不是“每个被拒绝假设为假的概率”。二者不能混为一谈。

推导专题:把核心结论展开

以下是根据前文模型定义补充的推导,不是原课件的逐字证明。阅读时先确定随机向量维度、独立性和矩阵可逆条件,再进行运算。

A. 条件正态:观察一组变量后,另一组如何更新

设联合正态向量分块为 X1∈Rp1X_1\in\mathbb R^{p_1}、X2∈Rp2X_2\in\mathbb R^{p_2},其均值为 μ1,μ2\mu_1,\mu_2,协方差分块为 Σ11,Σ12,Σ21,Σ22\Sigma_{11},\Sigma_{12},\Sigma_{21},\Sigma_{22}。假设 Σ22\Sigma_{22} 正定。定义残差

Z=X1−μ1−A(X2−μ2).Z=X_1-\mu_1-A(X_2-\mu_2).

希望 ZZ 与 X2X_2 不相关,因此

Cov⁡(Z,X2)=Σ12−AΣ22=0.\operatorname{Cov}(Z,X_2)=\Sigma_{12}-A\Sigma_{22}=0.

解得 A=Σ12Σ22−1A=\Sigma_{12}\Sigma_{22}^{-1}。计算残差协方差:

Cov⁡(Z)=Σ11−AΣ21−Σ12AT+AΣ22AT=Σ11−Σ12Σ22−1Σ21.\begin{aligned} \operatorname{Cov}(Z) &=\Sigma_{11}-A\Sigma_{21}-\Sigma_{12}A^T +A\Sigma_{22}A^T\\ &=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}. \end{aligned}

ZZ 与 X2X_2 是联合正态向量的线性变换,所以“不相关”在这里能进一步推出“独立”。条件于 X2=x2X_2=x_2 后,ZZ 的分布不变,因而

X1∣X2=x2∼N(μ1+Σ12Σ22−1(x2−μ2),Σ11−Σ12Σ22−1Σ21).X_1\mid X_2=x_2 \sim N\left( \mu_1+\Sigma_{12}\Sigma_{22}^{-1}(x_2-\mu_2), \Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21} \right).

例:两个标准正态变量相关系数为 0.60.6,观察到 X2=2X_2=2 后,X1X_1 的条件均值为 1.21.2,条件方差为 1−0.62=0.641-0.6^2=0.64。信息改变了均值,也减少了不确定性。没有联合正态假设时,这个线性预测仍有意义,但不能直接断言完整条件分布是正态。

B. LDA:为什么共同协方差给出直线边界

假设类别先验 πk>0\pi_k>0,且各类共享同一个正定协方差 Σ\Sigma。对数后验在忽略公共归一化项后为

log⁡πk−12log⁡∣Σ∣−12(x−μk)TΣ−1(x−μk)+C.\log\pi_k-\frac12\log|\Sigma| -\frac12(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)+C.

将二次型完整展开:

(x−μk)TΣ−1(x−μk)=xTΣ−1x−2xTΣ−1μk+μkTΣ−1μk.(x-\mu_k)^T\Sigma^{-1}(x-\mu_k) =x^T\Sigma^{-1}x-2x^T\Sigma^{-1}\mu_k +\mu_k^T\Sigma^{-1}\mu_k.

前两式中的 xTΣ−1xx^T\Sigma^{-1}x、log⁡∣Σ∣\log|\Sigma| 和 CC 对所有类别相同,在比较类别时消去,剩下前文的 δk(x)\delta_k(x)。两类边界满足

xTΣ−1(μ1−μ2)−12(μ1TΣ−1μ1−μ2TΣ−1μ2)+log⁡π1π2=0.x^T\Sigma^{-1}(\mu_1-\mu_2) -\frac12(\mu_1^T\Sigma^{-1}\mu_1-\mu_2^T\Sigma^{-1}\mu_2) +\log\frac{\pi_1}{\pi_2}=0.

一维例子:μ1=0,μ2=2,σ2=1\mu_1=0,\mu_2=2,\sigma^2=1 且先验相等,有 δ1=0\delta_1=0、δ2=2x−2\delta_2=2x-2,因此边界为 x=1x=1。先验变化会移动阈值。QDA 中各类协方差不同,二次项和行列式项都不能消去。

C. PCA:最大方差为什么等于最小重构误差

设 X∈Rn×pX\in\mathbb R^{n\times p} 已按列中心化,S=XTX/(n−1)S=X^TX/(n-1)。单位方向 ww 上的得分为 XwXw,样本方差为

(Xw)T(Xw)n−1=wTSw.\frac{(Xw)^T(Xw)}{n-1}=w^TSw.

对约束目标求导:

∇w{wTSw−λ(wTw−1)}=2Sw−2λw=0.\nabla_w\{w^TSw-\lambda(w^Tw-1)\} =2Sw-2\lambda w=0.

因此驻点满足 Sw=λwSw=\lambda w。仅有驻点还不够:将 w=∑jajvjw=\sum_j a_jv_j 展开到正交特征向量基中,且 ∑jaj2=1\sum_j a_j^2=1,得到

wTSw=∑jλjaj2≤λ1.w^TSw=\sum_j\lambda_j a_j^2\leq\lambda_1.

取 w=v1w=v_1 达到上界,证明它是全局最大值。

对前 kk 个方向组成的 WW,满足 WTW=IkW^TW=I_k。投影重构为 XWWTXWW^T,误差为

∥X−XWWT∥F2=tr⁡(XTX)−tr⁡(WTXTXW)=(n−1)[tr⁡(S)−tr⁡(WTSW)].\begin{aligned} \|X-XWW^T\|_F^2 &=\operatorname{tr}(X^TX)-\operatorname{tr}(W^TX^TXW)\\ &=(n-1)\left[\operatorname{tr}(S)-\operatorname{tr}(W^TSW)\right]. \end{aligned}

第一项固定,所以最大化投影方差就等于最小化重构误差。若 X=UDVTX=UDV^T,则主方向是 VV 的列,特征值为 dj2/(n−1)d_j^2/(n-1)。丢弃的误差是 (n−1)∑j>kλj(n-1)\sum_{j>k}\lambda_j。

例:SS 的特征值为 9,19,1。保留第一方向解释 90%90\% 方差,但平均每个自由度仍损失 11 的平方误差;解释方差高不表示分类标签的信息也保留了 90%90\%。

D. CCA:白化之后变成奇异值问题

设 X,YX,Y 已中心化,ΣXX,ΣYY\Sigma_{XX},\Sigma_{YY} 正定。要求 aTΣXXa=bTΣYYb=1a^T\Sigma_{XX}a=b^T\Sigma_{YY}b=1,并最大化 aTΣXYba^T\Sigma_{XY}b。

令

u=ΣXX1/2a,v=ΣYY1/2b,M=ΣXX−1/2ΣXYΣYY−1/2.u=\Sigma_{XX}^{1/2}a,\qquad v=\Sigma_{YY}^{1/2}b,\qquad M=\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}.

目标转化为

max⁡∥u∥=∥v∥=1uTMv.\max_{\|u\|=\|v\|=1}u^TMv.

若 M=UDVTM=U D V^T,最大值为第一奇异值 d1d_1,最优方向为

a=ΣXX−1/2u1,b=ΣYY−1/2v1.a=\Sigma_{XX}^{-1/2}u_1,\qquad b=\Sigma_{YY}^{-1/2}v_1.

进一步由 MMTu1=d12u1MM^Tu_1=d_1^2u_1 可得

ΣXYΣYY−1ΣYXa=ρ12ΣXXa.\Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}a =\rho_1^2\Sigma_{XX}a.

这就是广义特征值形式。p=q=1p=q=1 时退化为普通相关系数的绝对值。高维下正定条件失效时不能照搬逆矩阵,需先降维或正则化。

E. Ridge:损失中的系数会改变闭式解

延续正文的约定,截距已通过中心化去除,不参与惩罚:

J(β)=12n(y−Xβ)T(y−Xβ)+λβTβ.J(\beta)=\frac1{2n}(y-X\beta)^T(y-X\beta)+\lambda\beta^T\beta.

先展开数据项:

(y−Xβ)T(y−Xβ)=yTy−2βTXTy+βTXTXβ.(y-X\beta)^T(y-X\beta) =y^Ty-2\beta^TX^Ty+\beta^TX^TX\beta.

所以

∇J=−1nXTy+1nXTXβ+2λβ.\nabla J=-\frac1nX^Ty+\frac1nX^TX\beta+2\lambda\beta.

梯度为零给出 (XTX+2nλI)β^=XTy(X^TX+2n\lambda I)\hat\beta=X^Ty。当 λ>0\lambda>0 时,任意非零 zz 满足

zT(XTX+2nλI)z=∥Xz∥2+2nλ∥z∥2>0,z^T(X^TX+2n\lambda I)z=\|Xz\|^2+2n\lambda\|z\|^2>0,

因此即使 p>np>n,解也唯一。写成 SVD 后,每个奇异方向的系数由 1/dj1/d_j 变成

djdj2+2nλ,\frac{d_j}{d_j^2+2n\lambda},

小奇异值方向不再被放大。若目标改成 ∥y−Xβ∥2+λ∥β∥2\|y-X\beta\|^2+\lambda\|\beta\|^2,闭式解中的惩罚就是 λI\lambda I,不能跨约定抄公式。

F. LASSO:零系数来自次梯度条件

令 rj=y−∑k≠jxkβkr_j=y-\sum_{k\ne j}x_k\beta_k,只更新第 jj 个系数。子问题为

min⁡b12n∥rj−xjb∥2+λ∣b∣.\min_b\frac1{2n}\|r_j-x_jb\|^2+\lambda|b|.

记 zj=xjTrj/nz_j=x_j^Tr_j/n、aj=xjTxj/n>0a_j=x_j^Tx_j/n>0。最优性条件是

0∈ajb−zj+λ∂∣b∣.0\in a_jb-z_j+\lambda\partial|b|.

当 b>0b>0 时,b=(zj−λ)/ajb=(z_j-\lambda)/a_j;当 b<0b<0 时,b=(zj+λ)/ajb=(z_j+\lambda)/a_j;当 b=0b=0 时,条件变为 zj∈[−λ,λ]z_j\in[-\lambda,\lambda]。合起来:

b^=S(zj,λ)aj.\hat b=\frac{S(z_j,\lambda)}{a_j}.

只有列标准化到 xjTxj/n=1x_j^Tx_j/n=1 时,才能省略分母。例:aj=1,zj=0.3,λ=0.5a_j=1,z_j=0.3,\lambda=0.5,更新为零;zj=0.8z_j=0.8 时更新为 0.30.3。这比“L1 有尖角”的图像更直接地解释了稀疏性。

G. BH:计算步骤与控制条件都要说明

取 m=5,q=0.05m=5,q=0.05,排序 p 值为 0.003,0.018,0.021,0.20,0.800.003,0.018,0.021,0.20,0.80。对应阈值为 0.01,0.02,0.03,0.04,0.050.01,0.02,0.03,0.04,0.05,最大满足位置为 k=3k=3,所以拒绝前三项。若没有位置满足,拒绝数为零。

这个算法并非在任意相关结构下都控制 FDR。对有效的零假设 p 值,在独立或满足适当正依赖条件时,BH 有

FDR⁡≤m0mq≤q,\operatorname{FDR}\leq\frac{m_0}{m}q\leq q,

其中 m0m_0 是真实零假设数。这里给出适用条件与结论,不把它冒充完整证明。任意依赖情形可考虑更保守的 BY 校正,将 qq 替换为 q/∑j=1m1/jq/\sum_{j=1}^m1/j。

同样,前文的 1−(1−α)m1-(1-\alpha)^m 要求这 mm 个均为真实零假设、检验独立且拒绝概率恰为 α\alpha;若仅保证各自检验水平不超过 α\alpha,得到的是上界。不能忽略这些前提。

12. 一套可靠的高维分析流程

1
2
3
4
5
6
7
8
划分训练/验证数据
-> 只在训练集上清洗和标准化
-> 检查 p/n、共线性、缺失和类别不平衡
-> 建立简单 baseline
-> 选择低秩、稀疏或正则化假设
-> 交叉验证超参数
-> 独立测试集评价
-> 稳定性、误差与可解释性检查

最常见的数据泄漏包括:在全数据上标准化、先看全部标签再筛特征、用测试集选择主成分数或 λ\lambda。高维数据尤其容易通过这些细小泄漏得到虚假的高分。

13. 自测清单

  • 能否证明协方差矩阵半正定?
  • 能否解释 Mahalanobis distance 为什么考虑相关性?
  • 能否从 Bayes 规则推导 LDA 判别函数?
  • 能否说明 PCA 的最大方差与最小重构误差两种解释?
  • 能否区分 PCA、因子分析和 CCA 的目标?
  • 能否解释 p>np>n 时 OLS 为什么不唯一?
  • 能否写出 ridge、LASSO 和 Elastic Net 的目标函数?
  • 能否区分 FWER 与 FDR,并手工执行 BH procedure?

真正掌握高维数据分析,不是会调用 PCA() 或 LassoCV(),而是知道算法借助了什么结构、牺牲了什么,以及验证结果时最容易在哪里自欺。

AMA4602 高维数据分析:从多元正态、PCA 到正则化与 FDR

https://richardf123.github.io/2026/11/16/ama4602-high-dimensional-data-analysis-guide/

作者

方楚鸣

发布于

2026-11-16

更新于

2026-11-16

许可协议

Click to play