以e为底的指数函数,指数函数六种图像

由于目标函数是由m个样本累加得到的，因此可以求一个平均得到损失函数：

1）对损失函数求偏导数，批量梯度下降：

容易得到最优解，但是每次考虑所有样本，执行速度很慢。

2）每次只用一个样本，随机梯度下降：

去除累加操作，每次抽样一个样本来计算，速度快，结果不准。

3）每次更新选择一部分数据，小批量梯度下降法：