由此可见,在数据量较少的情况下,正规方程线性回归比梯度下降线性回归的准确率要稍微高一些
3. 正则化与岭回归正则化(规整化)出现的目标是为了防止过拟合现象,公式如下:

在上一节中我们证明了推导了损失函数J(θ) 的公式由来,MSE(θ)也可以理解为损失函数。只有除的常数项不一样,其他都一样,如下式:

此外,式中

表示正则化,那么正则化的作用是什么呢,我举个例子帮助大家理解。
假设现在有一组特征值x=[1,1,1,1],若在进行线性回归的时候,权重θ 可以取两组值,θ₁=[1,0,0,0],θ₂=[0.25,0.25,0.25,0.25],权重θ₁ 和 θ₂ 与 x 相乘的结果相同。那我们究竟选那一组权重比较好呢, 这时带入正则化方法, θ₁正则化之后的结果为
