解得：
牛顿法的优点是收敛速度快，缺点是需要求矩阵的逆，计算量比较大。此外，如果矩阵非正定（在一维情况下表现为泰勒展开的二阶导数小于0），极值点为极大值，而非极小值。如果初始位置离最优点太远，也会导致迭代过程中目标函数不严格递减的情况。
高斯-牛顿法
高斯-牛顿法是牛顿法的特例，用于解非线性最小二乘问题。
假设观测到 N 个数据点 {(x1,y1),(x2,y2),...(xn,yn)}，希望找到包含 M 个参数的非线性函数 f(x,a1,a2,...am)，拟合上述N个数据点。 为了方便书写，记: f1(a) = f(x1,a1,...am)。则最小二乘的目标函数为：
我们需要找到 a = [a1,a2,..am]T，使得 (8) 的值最小。
将 (8) 对aj求导：
令：
