2. 计算图
计算图被定义为有向图,其中节点对应于数学运算, 计算图是表达和评估数学表达式的一种方式。例如, 有以下等式 g=(x y)∗z,绘制上述等式的计算图。
计算图具有加法节点(具有“ ”符号的节点)和乘法节点,其具有三个输入变量xyz以及一个输出g。
现在看下一个更复杂的函数:
以下函数f(x,y)的计算图如下:
计算图的优点是能够清晰地表示复杂的函数计算过程,并且方便进行反向传播和参数更新。在深度学习中,计算图通常用于构建神经网络模型,其中每个节点表示神经网络的层或操作,边表示神经网络层之间的数据流。通过构建计算图,可以将复杂的函数计算过程分解为一系列简单的操作,利用反向传播算法计算每个节点的梯度,从而实现对模型参数的优化和训练。
3. 反向传播
网上找到一个比较形象的例子来说明反向传播:假设现在要购买水果,在我们日常的思维当中这是一件非常简单的事情,计算一下价格然后给钱就完事了,但实际上这个过程可以抽象成一张计算图,当中是包含了若干步骤的。比如下图,看到需要先计算苹果的价格乘上个数,再乘上消费税,最后得到的才是真正的支付额。