BP神经网络的代表者是D.Rumelhart和J.McCelland,"反向传播(backpropagation)"一词的使用出现在1985年后,它的广泛使用是在1986年D.Rumelhart和J.McCelland所著的Parallel Distributed Processing这本书出版以后。BP神经网络是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer)。
一、BP神经网络的模型
BP神经网络的过程主要分为两个阶段,第一阶段是信号的前向传播来传递信息,第二阶段是误差的反向传播来调整中间层的权重和偏置。
二、BP神经网络的流程
BP神经网络的流程:
1、前向传播;
2、误差反向传播;
3、迭代判定标准。
以三层BP神经网络为例:
(1)前向传播
假设输入层的节点个数为n,隐含层的节点个数为l,输出层的节点个数为m。输入层到隐含层的权重w_ij,隐含层到输出层的权重为w_jk,输入层到隐含层的偏置为a_j,隐含层到输出层的偏置为b_k,学习速率为η,激励函数为g(x),一般选择sigmoid函数。形式为:
隐含层的输出为:
输出层的输出为: