因此，我们需要找到 2 个用 beta 表示的变量来参数化线性函数 f(.)。 线性回归的示例如上图 4 所示，其中 P=5。 该图还显示了 beta_0 = -90.798 和 beta_1 = 0.046 的拟合线性函数
4、多项式回归线性回归假设因变量 (y) 和自变量 (x) 之间的关系是线性的。 当数据点之间的关系不是线性时，它无法拟合数据点。 多项式回归通过将 m 次多项式拟合到数据点来扩展线性回归的拟合能力。 所考虑的函数越丰富，（一般来说）其拟合能力就越好。 从数学上来说，多项式回归解决了以下问题。
因此我们需要找到 (m 1) 个用 beta_0, …,beta_m 表示的变量。 可见，线性回归是2次多项式回归的特例。
考虑以下绘制为散点图的数据点集。 如果我们使用线性回归，我们得到的拟合显然无法估计数据点。 但如果我们使用 6 次多项式回归，我们会得到更好的拟合，如下所示：
[左] 数据散点图 — [中] 线性回归 — [右] 6 次多项式回归
由于数据点在因变量和自变量之间不存在线性关系，因此线性回归无法估计良好的拟合函数。 另一方面，多项式回归能够捕捉非线性关系。
5、岭回归岭回归（Ridge Regression）解决了回归分析中的过度拟合问题。 要理解这一点，请考虑与上面相同的示例。 当25次多项式对10个训练点的数据进行拟合时，可以看到它完美地拟合了红色数据点（下中图）。 但这样做会损害中间的其他点（最后两个数据点之间的峰值）。 这可以从下图中看出。 岭回归试图解决这个问题。 它试图通过破坏训练点的拟合来最小化泛化误差。
[左] 数据散点图 — [中] 25 次多项式回归 — [右] 25 次多项式岭回归
从数学上来说，岭回归通过修改损失函数来解决以下问题：
