这篇笔记整理 SVD 在机器学习中的几个典型用法：低秩近似做图像压缩、矩阵分解做推荐系统、PCA 做降维，以及 SVM 中常见 kernel 的选择。主线是同一个：把高维数据表示成更少、更重要的方向。

这篇笔记主要根据 Kolda 与 Bader 的综述论文 Tensor Decompositions and Applications 整理，用来建立张量分解的基础概念。可以把它理解成从矩阵分解继续往高维数组推广：向量是一阶张量，矩阵是二阶张量，三维及以上数组就是高阶张量。

前记

学习线性代数时，矩阵乘法经常被直接定义成一堆公式。公式当然重要，但如果只记公式，很容易不知道它到底在“改变什么”。

我更想从空间角度理解矩阵乘法：矩阵不仅是一张数字表，它也可以看成一种对空间的变换。