小学习率与大学习率
在所有优化任务中，无论是在物理学、经济学还是计算机科学中，偏导数都被大量使用。偏导数主要用于计算因变量f(x, y, z)相对于其独立变量之一的变化率。例如，假设你拥有一个公司的股份，后者的股票会根据多种因素（证券、政治、销售收入等）上涨或下跌，在这种情况下通过偏导数，你会计算多少股票受到影响而其他因素保持不变，股票发生变化，则公司的价格也会发生变化。
池化层|Pooling Layer：
在最大池化特征图层中，梯度仅通过最大值反向传播，因此稍微更改它们并不会影响输出。在此过程中，我们将最大池化操作之前的最大值替换为1，并将所有非最大值设置为零，然后使用链式法则将渐变量乘以先前量以得到新的参数值。
池化层反向传播
与最大池化层不同，在平均池化层中，梯度是通过所有的输入（在平均合并之前）进行传播。
卷积层|Convolution Layer：
你可能现在问自己，如果卷积层的前向传播是卷积，那么它的反向传播是什么？幸运的是，它的向后传播也是一个卷积，所以你不必担心学习新的难以掌握的数学运算。
卷积层反向传播
其中：
- ∂hij：损失函数的导数
简而言之，上图表明了反向传播是如何在卷积层中起作用的。现在假设你已经对卷积神经网络有了深刻的理论理解，下面让我们用TensorFlow构建的第一个卷积神经网络吧。
TensorFlow实现卷积神经网络：
什么是Tensorflow？
