函数 f(x) 可以是线性函数或多项式函数。 在没有岭回归的情况下，当函数过度拟合数据点时，学习到的权重往往会相当高。 岭回归通过在损失函数中引入权重 (beta) 的缩放 L2 范数来限制所学习的权重范数，从而避免过度拟合。
因此，训练模型在完美拟合数据点（学习权重的大范数）和限制权重范数之间进行权衡。 缩放常数 alpha>0 用于控制这种权衡。 较小的 alpha 值将导致较高的范数权重并过度拟合训练数据点。 另一方面，较大的 alpha 值将导致函数与训练数据点拟合较差，但权重范数非常小。 仔细选择 alpha 值将产生最佳权衡。
6、LASSO回归LASSO 回归与 Ridge 回归类似，因为它们都用作防止训练数据点过度拟合的正则化器。 但 LASSO 还有一个额外的好处。 它强制学习权重的稀疏性。
岭回归强制学习权重的范数变小，从而产生一组总范数减少的权重。 大多数权重（如果不是全部）将不为零。 另一方面，LASSO 试图通过使大部分权重接近于零来找到一组权重。 这会产生一个稀疏权重矩阵，其实现比非稀疏权重矩阵更加节能，同时在拟合数据点方面保持相似的精度。
下图试图在与上面相同的示例中形象化这个想法。 使用 Ridge 和 Lasso 回归对数据点进行拟合，并按升序绘制相应的拟合和权重。 可以看出，LASSO回归中的大部分权重确实接近于零。
从数学上来说，LASSO回归通过修改损失函数来解决以下问题：
LASSO 和岭回归之间的区别在于 LASSO 使用权重的 L1 范数而不是 L2 范数。 损失函数中的 L1 范数往往会增加学习权重的稀疏性。 有关如何强制稀疏性的更多详细信息，请参阅这篇文章的 L1 正则化部分。
常数 alpha>0 用于控制学习权重的拟合度和稀疏度之间的权衡。 较大的 alpha 值会导致拟合效果不佳，但学习到的权重集会更稀疏。 另一方面，较小的 alpha 值会导致训练数据点紧密拟合（可能导致过度拟合），但权重集较少稀疏。
7、ElasticNet回归ElasticNet 回归是 Ridge 回归和 LASSO 回归的组合。 损失项包括权重的 L1 和 L2 范数及其各自的缩放常数。 它通常用于解决 LASSO 回归的局限性，例如非凸性质。 ElasticNet 添加了权重的二次惩罚，使其主要是凸的。
从数学上来说，ElasticNet回归通过修改损失函数来解决以下问题：
对于上面讨论的回归（频率论方法），目标是找到一组解释数据的确定性权重值（β）。 在贝叶斯回归中，我们不是为每个权重找到一个值，而是尝试在假设先验的情况下找到这些权重的分布。
因此，我们从权重的初始分布开始，并根据数据，利用贝叶斯定理将先验分布与基于可能性和证据的后验分布联系起来，将分布推向正确的方向。
