反向传播说明图
在计算梯度之后,我们从初始权重中减去它以得到新的优化:
其中:
- θi 1 :优化的权重
- θi:初始权重
- α :学习率
- ∇J(θi):损失函数的梯度
梯度下降
在下面的动态图中,是将梯度下降应用于线性回归的结果。从图中可以清楚地看到代价函数越小,线性模型越适合数据。
梯度下降应用于线性回归
此外,请注意一点,应该谨慎地选择学习率的取值,学习率太高可能会导致梯度超过目标最小值, 学习率太低可能导致网络模型收敛速度变慢。
反向传播说明图
在计算梯度之后,我们从初始权重中减去它以得到新的优化:
其中:
梯度下降
在下面的动态图中,是将梯度下降应用于线性回归的结果。从图中可以清楚地看到代价函数越小,线性模型越适合数据。
梯度下降应用于线性回归
此外,请注意一点,应该谨慎地选择学习率的取值,学习率太高可能会导致梯度超过目标最小值, 学习率太低可能导致网络模型收敛速度变慢。
Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.