当我们有无限数据点时,权重的后验分布在普通最小二乘解的解中变成脉冲,即方差接近于零。
寻找权重分布而不是一组确定性值有两个目的
- 它自然地防止过度拟合的问题,因此充当正则化器
- 它提供了置信度和权重范围,这比仅返回一个值更具逻辑意义。
让我们用数学方式表述这个问题并给出它的解决方案:
让我们对具有均值 μ 和协方差 Σ 的权重进行高斯先验,即:
根据可用数据 D,我们更新此分布。 对于当前的问题,后验将是具有以下参数的高斯分布:
详细的数学解释可以在这里找到。
让我们通过每次更新一个数据点的权重分布来查看顺序贝叶斯线性回归,直观地尝试理解它。 如下图: