普通监督学习常把样本当作可以交换的独立观测;时间序列不能这样处理。昨天的信息会进入今天,趋势与季节性会让均值变化,金融数据还常出现波动聚集。预测的关键不是把曲线拟合得更复杂,而是把时间依赖写进模型,并用只来自过去的信息评价未来。
这篇文章按照 AMA4650 Forecasting and Applied Time Series Analysis 的主线,串联平稳性、趋势与季节性、指数平滑、ARMA/ARIMA、模型识别、预测区间和 GARCH。
直接阅读详细公式推导:平滑偏差、AR/MA 协方差、Yule–Walker、预测区间与 GARCH。
配套讲义
AMA4650:用 Agent 建立课程复习 RAG
1. 随机过程、实现与观测数据
时间序列是按时间索引的随机变量族:
{Xt:t∈T}.
我们实际看到的 x1,…,xT 只是随机过程的一条 realization。这个区分很重要:图上只有一条曲线,但模型描述的是可能生成许多曲线的概率机制。
预测 h 步未来值时,理想的点预测是条件期望:
X^T+h∣T=E(XT+h∣XT,XT−1,…).
预测误差为
eT+h=XT+h−X^T+h∣T.
时间越远,可用信息越少,预测误差方差通常越大,所以预测区间应随 horizon 扩张。
2. 平稳性:让过去具有可迁移性
弱平稳过程满足:
E(Xt)=μ,
且
Cov(Xt,Xt+h)=γ(h),
协方差只依赖时间差 h,不依赖具体时刻 t。自相关函数为
ρ(h)=γ(0)γ(h).
平稳并不是“曲线完全不动”,而是生成机制的均值、方差和依赖结构在时间平移后保持一致。趋势、季节性和结构突变都会破坏平稳性。
常见变换包括:
- 对数变换:稳定随水平增大的波动;
- 一阶差分:∇Xt=Xt−Xt−1,消除随机趋势;
- 季节差分:∇sXt=Xt−Xt−s,消除周期 s 的季节结构;
- 回归去趋势:拟合确定性趋势并分析残差。
不要机械差分。过度差分会人为引入负相关并扩大噪声。
3. 趋势、季节性与回归表示
加法分解写成
Xt=Tt+St+Rt.
若季节波动随水平放大,更适合乘法结构
Xt=TtStRt,
取对数后可转成加法。
确定性趋势与季节性也可写成回归:
Xt=β0+β1t+j=1∑s−1γjDjt+εt.
关键不是回归能否拟合趋势,而是残差 εt 是否仍有自相关。如果残差不是白噪声,普通回归的标准误和预测区间就不可靠。
4. 预测误差如何评价
常见指标为
MAE=n1t=1∑n∣et∣,
RMSE=n1t=1∑net2.
RMSE 对大误差惩罚更强;MAE 更稳健。MAPE 为
MAPE=n100%t=1∑n∣∣∣∣∣xtet∣∣∣∣∣,
但当真实值接近 0 或可为负时会失真。
时间序列不能随机打乱做交叉验证。应使用 rolling origin:每次只用过去训练,再预测后面的窗口。
5. 指数平滑:状态随新数据递推
简单指数平滑为
St=αXt+(1−α)St−1,0<α<1.
递归展开:
St=αXt+α(1−α)Xt−1+α(1−α)2Xt−2+⋯.
因此越旧的数据权重按几何级数衰减。α 大时响应快但更噪,α 小时更平滑但滞后。
有趋势时可使用 Holt 方法:
ℓt=αXt+(1−α)(ℓt−1+bt−1),
bt=β(ℓt−ℓt−1)+(1−β)bt−1,
X^t+h∣t=ℓt+hbt.
有季节性时再加入季节状态,得到 Holt-Winters。指数平滑关注 level、trend、seasonality 的状态更新;ARIMA 更关注差分后的自相关结构。
6. 滞后算子与 ARIMA 语言
定义 backshift operator
BXt=Xt−1.
一阶差分可写成
∇Xt=(1−B)Xt.
ARIMA(p,d,q) 的统一形式为
ϕ(B)(1−B)dXt=θ(B)εt,
其中
ϕ(B)=1−ϕ1B−⋯−ϕpBp,
θ(B)=1+θ1B+⋯+θqBq.
d 负责去除单位根型非平稳,p 描述过去观测的影响,q 描述过去冲击的影响。
7. MA、AR 与 ARMA
MA(q)
Xt=μ+εt+heta1εt−1+⋯+θqεt−q.
相隔超过 q 期的观测不共享冲击,因此理论 ACF 在 lag q 后截尾。
AR(p)
Xt=c+ϕ1Xt−1+⋯+ϕpXt−p+εt.
AR(1) 为
Xt=c+ϕXt−1+εt.
若 ∣ϕ∣<1,则均值
μ=1−ϕc,
方差
Var(Xt)=1−ϕ2σε2,
自相关
ρ(h)=ϕ∣h∣.
因此 AR 的 ACF 通常拖尾,PACF 在 p 阶后截尾。
ARMA(p,q)
ARMA 同时使用过去观测和过去冲击,ACF 与 PACF 往往都拖尾。只凭一张相关图定阶不可靠,还要结合 AIC/BIC、残差诊断和样本外预测。
8. ACF 与 PACF 在看什么
样本 ACF 为
ρ^(h)=∑t=1T(xt−xˉ)2∑t=h+1T(xt−xˉ)(xt−h−xˉ).
PACF 测量 Xt 与 Xt−h 在控制中间滞后 Xt−1,…,Xt−h+1 后的线性关系。
经验识别表:
| 模型 |
ACF |
PACF |
| AR(p) |
拖尾 |
lag p 后截尾 |
| MA(q) |
lag q 后截尾 |
拖尾 |
| ARMA(p,q) |
拖尾 |
拖尾 |
“截尾”和“拖尾”是总体性质,有限样本图上不会整齐到教科书一样。
9. Box-Jenkins 建模循环
1 2 3 4
| 识别 Identification -> 估计 Estimation -> 诊断 Diagnostics -> 预测 Forecasting
|
- 画原序列,检查趋势、季节性、异常和结构变化;
- 通过变换与差分获得近似平稳序列;
- 结合 ACF/PACF 与信息准则提出候选模型;
- 估计参数;
- 检查残差是否近似白噪声;
- 用滚动样本外评价比较模型。
残差 ACF 不应保留明显结构。Ljung-Box 检验的原假设是若干滞后内无自相关;不拒绝原假设并不证明模型真实,只说明暂未发现剩余线性相关。
1 2 3 4 5 6 7 8 9 10 11 12
| from statsmodels.tsa.statespace.sarimax import SARIMAX
model = SARIMAX( train, order=(1, 1, 1), seasonal_order=(1, 0, 1, 12), enforce_stationarity=False, ) result = model.fit(disp=False) forecast = result.get_forecast(steps=12) mean = forecast.predicted_mean interval = forecast.conf_int()
|
10. 多步预测与不确定性
对零均值 AR(1):
Xt=ϕXt−1+εt.
一步预测为
X^T+1∣T=ϕXT.
递推得到
X^T+h∣T=ϕhXT.
预测误差包含未来冲击:
XT+h−X^T+h∣T=j=0∑h−1ϕjεT+h−j.
所以
Var(eT+h)=σε2j=0∑h−1ϕ2j.
这清楚解释了预测区间为什么随 h 变宽,并最终接近过程的无条件方差。
11. GARCH:对条件方差建模
金融收益率常表现为均值附近波动,但大波动与大波动聚集。GARCH(1,1) 写成
rt=μ+εt,εt=σtzt,
σt2=ω+αεt−12+βσt−12.
α 表示新冲击对波动的即时影响,β 表示波动持续性。常见平稳条件为
α+β<1.
此时无条件方差为
Var(εt)=1−α−βω.
GARCH 处理的是条件异方差,不是均值自相关。通常先对均值建立 ARMA,再检查平方残差或绝对残差是否仍有相关结构。
推导专题:从随机过程到可计算预测
以下推导补全前文的重要中间步骤。统一使用 εt 表示零均值、方差为 σ2 的白噪声;进行条件预测时,会额外声明创新条件,不能把“不相关”直接当成“条件均值为零”。
A. 随机游走为什么不平稳
令 X0=0,Xt=Xt−1+εt。递推展开得
Xt=j=1∑tεj.
因为不同时刻噪声不相关,
E(Xt)=0,Var(Xt)=tσ2.
对 s≤t,两个和式只共享前 s 个冲击:
Cov(Xt,Xs)=sσ2.
它依赖具体时间 s,不只是间隔 t−s,因此随机游走不是弱平稳过程。但 ∇Xt=εt 是平稳的。这是 ARIMA 中差分可以去除单位根的最简单例子。
反过来,若对已经是白噪声的序列再差分,Yt=εt−εt−1,则 γY(0)=2σ2、γY(1)=−σ2,即 ρY(1)=−1/2。过度差分会人为制造负相关。
B. 指数平滑的权重、初始化与趋势偏差
从 St=αXt+(1−α)St−1 反复代入 t 次:
St=αj=0∑t−1(1−α)jXt−j+(1−α)tS0.
有限样本下最后的初始化项不能直接丢掉;全部权重加起来恰好为 1。因为 0<α<1,初始化影响随 t 几何衰减。
若 Xt=a+bt+εt,忽略已衰减的初始化项,则
E(St)=αj=0∑∞(1−α)j[a+b(t−j)]=a+bt−bαj=0∑∞j(1−α)j=a+bt−bα1−α.
最后一步用了 ∑j≥0jrj=r/(1−r)2。简单指数平滑估计当前水平时落后约 (1−α)/α 期;若用 St 预测下一期,偏差为 E(St)−E(Xt+1)=−b/α。
例如每期增长 b=2、α=0.2,当前水平估计落后 8,一步预测平均低估 10。这就是为什么有趋势时要引入 Holt 的斜率状态,而不是只调平滑系数。
C. MA(1) 的 ACF 与可逆性
采用本文的加号约定:
Xt=εt+θεt−1.
方差计算为
γ(0)=E(Xt2)=(1+θ2)σ2.
相邻时刻相乘:
γ(1)=E[(εt+θεt−1)(εt−1+θεt−2)]=θσ2.
只有 εt−12 这一项的期望非零。间隔大于 1 时没有共享冲击,故 γ(h)=0,于是
ρ(1)=1+θ2θ,ρ(h)=0(∣h∣>1).
注意 θ 和 1/θ 给出相同的 lag-1 自相关,这说明只看 ACF 不能唯一确定参数。
可逆性要求能用过去观测恢复冲击:
εt=(1+θB)−1Xt=j=0∑∞(−θ)jXt−j.
该稳定展开要求 ∣θ∣<1。有限阶 MA 本身总是弱平稳,但并非总可逆,二者是不同问题。
D. AR(1) 的均值、方差与相关函数
设 Xt=c+ϕXt−1+εt,且采用 ∣ϕ∣<1 的因果解。取期望:
μ=c+ϕμ,μ=1−ϕc.
令 Yt=Xt−μ,则 Yt=ϕYt−1+εt。因果性保证过去状态与当前创新不相关,所以
γ(0)=ϕ2γ(0)+σ2,γ(0)=1−ϕ2σ2.
对 h≥1,
γ(h)=E[(ϕYt−1+εt)Yt−h]=ϕE(Yt−1Yt−h)=ϕγ(h−1)=ϕhγ(0).
于是 ρ(h)=ϕ∣h∣。若 ϕ=−0.5,ACF 为 1,−0.5,0.25,−0.125,…,是交替衰减而不是始终为正。
条件 ∣ϕ∣<1 在这里对应平稳的因果解。不要在讨论允许依赖未来噪声的非因果解时,仍无条件照搬这个表述。
E. Yule–Walker:从协方差解 AR 参数
对中心化的因果 AR(p):
Yt=j=1∑pϕjYt−j+εt.
两边乘以 Yt−k 并取期望,k≥1 时创新与过去不相关,得到
γ(k)=j=1∑pϕjγ(k−j).
利用 γ(−h)=γ(h),对 k=1,…,p 写成
⎣⎢⎢⎢⎢⎡1ρ(1)⋮ρ(p−1)ρ(1)1⋮ρ(p−2)⋯⋯⋱⋯ρ(p−1)ρ(p−2)⋮1⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡ϕ1ϕ2⋮ϕp⎦⎥⎥⎥⎥⎤=⎣⎢⎢⎢⎢⎡ρ(1)ρ(2)⋮ρ(p)⎦⎥⎥⎥⎥⎤.
例:AR(2) 的 ρ(1)=0.5,ρ(2)=0.2,解
ϕ1+0.5ϕ2=0.5、0.5ϕ1+ϕ2=0.2,得 ϕ1=8/15,ϕ2=−1/15。二阶 PACF 就是这个二阶回归中的末项系数 −1/15。它不是简单的 ρ(2),因为已经扣除了 lag 1 的中介关系。
F. 因果性、可逆性与 Wold 表述的边界
采用 ϕ(B)Xt=θ(B)εt。若 ϕ(z)=0 的根全在单位圆外,可展开稳定的 MA(∞) 因果表示;若 θ(z)=0 的根全在单位圆外,可展开由观测恢复创新的 AR(∞) 表示。
不能把 Wold 定理简写为“任何平稳过程都只是无限移动平均”。一般二阶平稳过程还包含与创新部分正交的确定性成分;只有纯非确定性部分能表示为平方可和的创新序列:
Xt−μ=j=0∑∞ψjεt−j,j∑ψj2<∞.
这里的白噪声不必独立或高斯。线性预测只需要二阶结构;若进一步声称最优预测就是条件期望,通常需要创新的条件零均值或联合高斯等额外条件。
G. 从最小均方误差到多步预测区间
令 FT 表示截至 T 的信息,m=E(XT+h∣FT)。对任意基于过去信息的预测 g:
E[(XT+h−g)2]=E[(XT+h−m)2]+E[(m−g)2].
交叉项为零,因为
E[XT+h−m∣FT]=0。第二项非负,因此条件期望是平方损失下最优预测。
现在假设未来创新独立于过去、均值为零。AR(1) 逐次展开:
XT+h−μ=ϕh(XT−μ)+j=0∑h−1ϕjεT+h−j.
条件期望消去未来冲击,得到
X^T+h∣T=μ+ϕh(XT−μ).
未来冲击互不相关,误差方差为
vh=σ2j=0∑h−1ϕ2j=σ21−ϕ21−ϕ2h.
若冲击还服从高斯分布,并暂时视参数为已知,则 95% 预测区间为 X^T+h∣T±1.96vh。非高斯时不能仅凭方差就宣称该区间精确覆盖 95%;估计参数的不确定性也未包含在此公式中。
手算例:μ=10,ϕ=0.6,XT=12,σ2=4。两步预测为 10+0.62(12−10)=10.72,误差方差为 4(1+0.62)=5.44,标准差约 2.33。高斯已知参数条件下的区间约为 [6.15,15.29]。
更一般地,对因果 ARMA 的创新展开,在创新假设成立时
eT+h=j=0∑h−1ψjεT+h−j,Var(eT+h)=σ2j=0∑h−1ψj2.
有限样本实际拟合还会有初始状态和参数估计误差,不能把上述理想公式当成全部不确定性。
H. GARCH 的条件方差、二阶矩与长期预测
设 zt 独立于过去,E(zt)=0,E(zt2)=1,且 εt=σtzt。σt 由过去确定,因此
E(εt∣Ft−1)=0,E(εt2∣Ft−1)=σt2.
令 ω>0,α,β≥0。若存在有限二阶矩的平稳解,记 v=E(εt2)=E(σt2),对递推取期望:
v=ω+αv+βv,v=1−α−βω.
因此 α+β<1 是这里的有限无条件方差条件,不应等同于所有意义上的平稳性。严格平稳的条件涉及 Elog(αzt2+β)<0;严格平稳也不保证二阶矩有限。
从 T 出发,下一期方差 h1=ω+αεT2+βσT2 已知。之后取条件期望,有
hk=ω+(α+β)hk−1,hk−v=(α+β)k−1(h1−v).
这说明波动预测以 α+β 为速度回归长期方差。例:ω=0.1,α=0.1,β=0.8,长期方差为 1;若 h1=2,则 h2=1.9,不是立即回到 1。
12. 常见错误
- 随机打乱时间序列做 train/test split;
- 先用全数据选择差分阶数和超参数,再报告测试误差;
- 只比较拟合内 R2,不做滚动预测;
- 看到趋势就不断差分,忽略确定性趋势与结构突变;
- 只给点预测,不给预测区间;
- 用 ACF/PACF 一眼定模型,不做残差诊断;
- 把高波动预测误解为价格方向预测。
13. 自测清单
- 能否区分随机过程、实现和观测数据?
- 能否写出弱平稳条件和 ACF 定义?
- 能否展开简单指数平滑的几何权重?
- 能否用滞后算子写出 ARIMA(p,d,q)?
- 能否推导 AR(1) 的均值、方差与 ACF?
- 能否解释 ACF 与 PACF 的截尾规律?
- 能否完整描述 Box-Jenkins 循环?
- 能否推导 AR(1) 的多步预测误差方差?
- 能否解释 GARCH 中 α 与 β 的含义?
时间序列建模最终不是选择一个最复杂的模型,而是保证每一步都尊重信息的时间方向,并诚实地表达未来仍然包含多少不可预测的冲击。