最优化核心概念导览：Convexity、Duality、KKT 与数值优化
最优化是机器学习、数据挖掘、运筹、控制和 AI infra 里都会反复出现的一条主线。训练模型是在最小化 loss，推荐系统是在优化排序目标，推理系统是在优化吞吐和延迟；即使问题表面很不一样，背后经常都可以抽象成“目标函数 + 约束 + 求解算法”。
这篇文章根据 AMA4850 的复习材料整理，但这里不按考试提纲写，而是把它改写成一篇最优化知识导览：从凸性出发，接到对偶理论、KKT 最优性条件，再到梯度下降、拟牛顿法、罚函数和 barrier method。原 PDF 保留在这里，方便对照完整材料。