线性代数如何进入 AI

第二部分：统一解释

线性代数如何描述模型

线性模型直接学习一个算子，深度网络学习一串可组合算子，卷积层学习受结构约束的稀疏算子。所谓建模，本质上是在规定：输入空间是什么、允许怎样的变换、哪些方向可以被保留或混合。

线性代数如何影响优化

在线性回归里，梯度是 X^T(Xw-y)，曲率是 X^T X；在更一般的网络里，Jacobian、Hessian、Gauss-Newton 和 Fisher 近似继续扮演同样角色。优化难度首先表现为谱几何：尺度差异大、相关性强、条件数差，训练就会慢且脆弱。

线性代数如何决定稳定性

稳定性看的是扰动放大规律。大奇异值会放大某些方向，小奇异值会让某些信息几乎不可恢复。于是正交初始化、归一化、残差连接、低秩约束和正则化，都可以统一理解成对谱、尺度和可逆性的控制。

第三部分：关键 insight

• 模型、优化、稳定性，本质上是同一个算子的三种读取方式。
• 表示学习的核心不是“向量化”，而是“找一个让结构显形的坐标系”。
• 很多训练困难首先是谱问题，不首先是非线性问题。
• 稳定性必须盯住最小奇异值，因为学习隐含着一个反问题。
• 正交与低秩，是现代机器学习中最常见也最深的两种结构偏置。
• 矩阵不是配角工具，而是模型结构、几何和病态性的暴露面。

参考支点

Strang, Introduction to Linear Algebra; Strang, Linear Algebra and Learning from Data; Axler, Linear Algebra Done Right; MIT 18.06SC; Stanford EE270; Stanford CS229.