设节点i和节点j之间的权值为,节点j的阀值为,每个节点的输出值为,而每个节点的输出值是根据上层所有节点的输出值、当前节点与上一层所有节点的权值和当前节点的阀值还有激活函数来实现的。具体计算方法如下:
其中f为激活函数,一般选取S型(Sigmoid函数)函数或者线性函数。正向传递的过程比较简单,按照上述公式计算即可。在BP神经网络中,输入层节点没有阀值。
反向传递子过程
在BP神经网络中,误差信号反向传递子过程比较复杂。假设输出层的所有结果为,误差函数如下:
而BP神经网络的主要目的是反复修正权值和阀值,使得误差函数值达到最小。Widrow-Hoff学习规则是通过沿着相对误差平方和的最速下降方向,连续调整网络的权值和阀值,根据梯度下降法,权值矢量的修正正比于当前位置上