08 / Box–Jenkins 方法
识别、估计与诊断
上一章从方程读出模型的阶数。现在反过来:手里只有观测,没有方程。先找值得试的模型,再用数据确定系数,最后检查预测误差里是否还留有规律。最后一步不通过,就要回头改模型。
08.1 · 识别:预测今天,需要记住几期?
课件例 5.3 中,今天和昨天的样本相关是 0.841,今天和前天也有 0.683。有人据此主张用两天的数据预测今天。先想一个反例:假如前天只影响昨天,昨天再影响今天,即使模型只需要昨天,前天也会和今天相关。
先分清两种「相关」
自相关 ACF 比较同一条平稳序列错开 k 期后的两列数。总体相关记为 \rho_k,用账本上的 n 个观测估出来的数记为 r_k。计算时先减全序列均值,记 u_t=x_t-\bar x。每对相隔 k 期的偏差相乘,再用总平方和归一化:
r_k=\frac{\sum_{t=k+1}^n u_t u_{t-k}}{\sum_{t=1}^n u_t^2}偏自相关 PACF 只问两端还剩多少线性关联。以二阶为例:先分别用昨天解释今天、用昨天解释前天,再比较两边没被昨天解释的部分。两份剩余量的总体相关就是二阶 PACF。这里的「扣除」是线性回归意义上的调整,不是认定昨天造成了今天。
考试怎样算,不必真的拟合两次回归?
假设用昨天和前天一起作线性预测。两个系数里,\hat\phi_{21} 乘昨天,\hat\phi_{22} 乘前天;第一个下标 2 表示总共纳入两期。最小平方误差要求预测剩余量与两列输入都不相关。把理论相关换成样本相关,就得到下面的 Yule–Walker 样本方程:
\hat\phi_{21}+r_1\hat\phi_{22}=r_1r_1\hat\phi_{21}+\hat\phi_{22}=r_2用第二式减去第一式的 r_1 倍,昨天的系数被消去。得到的最后一个系数就是课件采用的二阶样本 PACF:
\hat\phi_{22}=(r_2-r_1^2)/(1-r_1^2)分子扣掉经过昨天的关联;分母按扣除昨天后剩下的方差重新定标。切到「2 期」,看看 0.683 扣掉 0.841² 后还剩多少。
课件用 2/\sqrt{159}\approx0.159 作粗略参考。样本 ACF 缓慢衰减,PACF 主要在第一阶突出,所以先试 AR(1),不是因为第二阶 ACF 小。截尾指总体的性质;逐阶看样本图,偶尔越界不足以定阶。
换一道题:先差分,还是先看 ACF?
先看时间图,判断均值是否漂移。ADF 的原假设是存在单位根;不能拒绝并不等于证明存在单位根。若有理由差分,先对差分后的平稳序列看 ACF、PACF。纯 MA(q) 看 ACF 在 q 阶后截尾,纯 AR(p) 看 PACF 在 p 阶后截尾。
两者都拖尾时,EACF 尝试先滤掉假设的 AR 部分,再找剩余 MA 的截尾。课件表中从第 2 行、第 3 列(行列从 0 编号)开始出现零三角形,提示候选 ARMA(2,3)。只在相同数据、相同似然定义下比 AIC、BIC;数值较小者优先,但不能代替残差检验。
\mathrm{AIC}=2k-2\log L\mathrm{BIC}=k\log n-2\log L这里 k 是估计参数个数,不是滞后期数。
进阶题:同一份数据,AIC 和 BIC 意见不同
自编题:159 个观测,模型 A 用 2 个参数,最大对数似然 −210;B 增加一个参数,对数似然变为 −208.4。先判断增加参数带来的拟合收益,再问是否值得支付惩罚。
比较差值,不必重算四个大数
\Delta(-2\log L)=-2(1.6)=-3.2\mathrm{AIC}_B-\mathrm{AIC}_A=2-3.2=-1.2\mathrm{BIC}_B-\mathrm{BIC}_A=\log(159)-3.2\approx1.87AIC 倾向 B,BIC 倾向 A。不是算错了:当参数增加一个时,两者要求的似然收益门槛不同。两者都不能说明残差已是白噪声。
贯穿例题 ①:从两个相关数提出候选
自编题:100 个已中心化的观测,样本方差为 4,前两阶样本相关为 0.60、0.20,更高阶样本 PACF 均落在参考带内。若只通过昨天传递,前天对应的间接相关约为 0.36;实际只有 0.20。剩下的影响是什么方向?
算出方向和大小
\hat\phi_{22}=(0.20-0.36)/(1-0.36)=-0.25虽然二阶 ACF 为正,控制昨天之后,前天的额外系数却为负。其绝对值超过粗略界限 0.20,先保留 AR(2) 与较简洁的 AR(1) 比较。下一节用同一组数估计 AR(2)。
08.2 · 估计:选了 AR(1),昨天的偏差该保留多少?
识别给出的是方程的形状,还没给出数字。对零均值 AR(1),X_t=\phi X_{t-1}+Z_t:若昨天比均值高 2,φ = 0.5 时今天预测高 1;φ = 0.8 时预测高 1.6。参数估计就是给定这个模型和一份样本,用一个明确的准则选出 φ 和创新方差。
方法一:让模型复现样本相关
用 X_{t-1} 乘模型两端再取期望。因果模型中,当期创新与昨天不相关;在平稳条件下,两期方差相同,所以:
\gamma(1)=\phi\gamma(0)\rho_1=\phi这是总体必须满足的关系。总体相关未知,就用样本相关代替,令 \hat\phi=r_1。这叫矩估计:先找到理论矩与参数的关系,再让样本矩去匹配它。若题目像例 5.3 那样只给相关表,连原始观测都没有,也能按这条路做。
方法二:让实际观测到的整条路径有较高似然
现在换到课件例 5.5 的条件:初值固定为零,没有截距,创新独立同分布且服从正态。似然把数据固定,把参数当作待比较的候选值。对于同一条记录,哪个参数给出的联合密度更高?它不是「这个参数为真的概率」。
今天的观测依赖昨天,所以应乘逐期的条件密度。给定昨天,今天的分布为:
X_t\mid X_{t-1}\sim N(\phi X_{t-1},\sigma^2)记 e_t=x_t-\phi x_{t-1}。正态密度中,离预测中心越远,密度越小。将各期密度相乘、再取对数,得到:
S(\phi)=\sum_{t=1}^n e_t^2\ell=-\tfrac n2\log(2\pi\sigma^2)-\tfrac{S(\phi)}{2\sigma^2}固定方差后,最大化对数似然等价于最小化 S。先对 φ 求导令其为零,再把这个解代回完整似然,对方差求极值:
S'(\phi)=-2\sum_{t=1}^n x_{t-1}e_t\hat\phi=\frac{\sum x_{t-1}x_t}{\sum x_{t-1}^2}\hat\sigma^2=S(\hat\phi)/n用一组自编小样本核对:固定初值 0,随后依次观察到 2、1、2。交叉乘积和是 4,滞后值平方和是 5,所以估计值是 0.8。换一个候选值,看误差怎样变化。
这道题包含从固定初值到第一次观测的误差,方差分母是 3,不是 2。若换成 MA(1),上一期的创新不可直接读取;给定初始误差后,要对每个候选 θ 递推 e_t=x_t-\theta e_{t-1},再比较平方和,不能把过去的误差当作固定的观测。
进阶题:MA(1) 的矩估计为什么有两个根?
沿用加号约定,给定样本一阶相关 0.4,样本零阶自协方差 5。用理论矩匹配样本矩,求一个可逆表示。
先用相关定系数,再用方差定尺度
0.4=\theta/(1+\theta^2)2\theta^2-5\theta+2=0(2\theta-1)(\theta-2)=00.5 和 2 互为倒数,两者都给出相关 0.4。可逆要求 MA 多项式的根在单位圆外,因此取 θ = 0.5(根为 −2),而不是将两个解取平均。用零阶矩得:
\hat\sigma^2=5/(1+0.5^2)=4反查:一阶协方差为 0.5 × 4 = 2,除以 5 恰好是 0.4。若样本相关给的是 0.6,这个矩方程没有实根;不能强行套二次公式得到实数估计。
贯穿例题 ②:估计候选 AR(2),再算创新方差
沿用上一节的相关 0.60、0.20 和方差 4。第二个系数已经由二阶 PACF 算出,但第一个系数不能照抄一阶 ACF。写出两条 Yule–Walker 方程:
\phi_1+0.60\phi_2=0.600.60\phi_1+\phi_2=0.20解系数,并检查因果性和方差
代入第二个系数 −0.25,第一式给出 0.75。AR 多项式为 1 − 0.75y + 0.25y²,共轭根乘积为 4,各根模长为 2,符合因果条件。用零阶矩等式把已解释的方差扣掉:
\hat\sigma^2=C_0(1-\hat\phi_1r_1-\hat\phi_2r_2)\hat\sigma^2=4(1-0.45+0.05)=2.40若最近两期从早到晚是 4、2,则下一期预测是 0.75 × 2 − 0.25 × 4 = 0.50。实际若为 1.20,对应残差为 0.70,而不是 −0.70。
08.3 · 诊断:那些没预测对的部分,还有规律吗?
假设昨天为今天给出一步预测 0.50,今天实际为 1.20。残差是 0.70,表示模型低估了今天。单凭这个数不能判定模型差:即使知道真正的模型,也猜不到下一次创新。真正值得怀疑的是,知道昨天误差的方向,是否还有助于猜今天的误差?
从一笔误差到一列残差
创新是理论模型中不可预见的随机项;残差是用估计参数回看数据算出来的数。把每个时点的「实测减一步拟合值」按时间排好,得到残差列。现在沿用第一节 ACF 的算法,但输入换成这列残差。课件把得到的第 k 阶样本相关记为 r_\epsilon(k)。正的一阶值表示相邻误差倾向同向,不代表预测平均偏低。
为什么还需要 Ljung–Box 检验?
看残差图可以找出可疑的间隔;联合检验回答另一个问题:前 h 个间隔合起来,有没有足够证据表明还剩线性相关? 先选 h,再写原假设:残差所代表的误差过程在 1 到 h 阶的总体相关全为零;备择是假设中至少一个不为零。不是要求样本图的每一根柱都恰好等于零。
一个教学算例:用 100 个有效观测拟合 AR(1),检验前 3 阶残差相关是否同时为零。固定第 2、3 阶为 0.08、−0.04,只改变第一阶。每个相关先平方,所以正负项不会相互抵消。
Q_{\rm LB}=n(n+2)\sum_{k=1}^{h}\frac{r_\epsilon(k)^2}{n-k}读这个式子时从里面向外看:每个样本相关先平方,避免正负抵消;间隔 k 只有 n−k 对残差可配对,分母随间隔调整;最后汇总成 Q。Q 越大,越难把观察到的相关一起归因于抽样波动。它不是相关系数,不必落在 −1 到 1 之间。
拟合非季节 ARMA(p,q) 后,常用近似自由度 h-p-q,这里为 2,5% 右尾临界值为 5.991。若拒绝,就回看残差图和候选阶数;若不拒绝,只能说这些间隔上没有足够的线性相关证据,不能宣称误差独立或正态。
考场自检:AIC 最低,但残差检验拒绝,能直接交卷吗?
不能用 AIC 为这个模型的残差辩护。AIC 只在给定候选中比较拟合与复杂度;即使排名第一,也可能所有候选都漏掉结构。指出异常的残差滞后,重新提出候选,再估计与诊断。
进阶题:没有一根柱越线,也能拒绝吗?
自编题:对 100 个有效观测拟合 AR(1),前三阶残差相关均为 0.15。每阶都小于粗略参考线 0.20。先猜联合检验的结论,再展开。
逐阶看图与联合检验回答不同的问题
w=100(102)(0.15)^2=229.5Q=w/99+w/98+w/97\approx7.03用拟合后自由度 3 − 1 = 2,7.03 超过 5.991,所以在 5% 水平拒绝。三项中等大小的偏差累积起来也可能显著。这里不应据此指定「漏掉的必定是第三阶」;要结合残差图提出替代模型,并在相同数据上重新拟合、诊断。
贯穿例题 ③:同一个检验,扣错自由度会反转结论
沿用前面的 AR(2)。假设有 100 个有效残差,前四阶残差相关依次为 0.18、0.15、0.08、0.05。上节算出的 0.70 只是一个残差,不是残差相关。现在要用整条残差序列作联合判断。
列出贡献、临界值和诊断意见
Q_1=10200(0.18)^2/99\approx3.34Q\approx3.34+2.34+0.67+0.27=6.62自由度是 4 − 2 = 2,5% 临界值约 5.99,因此拒绝前四阶均不相关的原假设。如果错用自由度 4,临界值约 9.49,就会误判成通过。诊断意见应是回看残差时间图、重新比较候选,再验证;不能仅凭这一项检验就断言必须增加两阶。