5.凸优化
数值优化算法面临两个方面的问题：局部极值，鞍点。前者是梯度为0的点，也是极值点，但不是全局极小值；后者连局部极值都不是，在鞍点处Hessian矩阵不定，即既非正定，也非负定。
凸优化通过对目标函数，优化变量的可行域进行限定，可以保证不会遇到上面两个问题。凸优化是一类特殊的优化问题，它要求：
优化变量的可行域是一个凸集
目标函数是一个凸函数
凸优化最好的一个性质是：所有局部最优解一定是全局最优解。机器学习中典型的凸优化问题有：
线性回归
岭回归
LASSO回归
logistic回归
支持向量机
Softamx回归
6.拉格朗日对偶
对偶是最优化方法里的一种方法，它将一个最优化问题转换成另外一个问题，二者是等价的。拉格朗日对偶是其中的典型例子。对于如下带等式约束和不等式约束的优化问题：
与拉格朗日乘数法类似，构造广义拉格朗日函数：
必须满足
