b表示每个神经元输入信号的偏置值，有时又被称为偏置项或偏置单元，上标(l)和下标i表示该偏置属于神经网络的第l层第i个神经元：
b向量化后为（假设第l层神经网络有k个神经元）：
注：第一次看本文的时候，可以先跳过“向量化”的内容不看。
3 前向传播
前向传播，就是将样本数据输入到神经网络模型，经由神经网络计算，最终输出预测值的过程。
每个神经元的输入信号z，由参数w、b，和前一层的输出信号a 决定（假设第l层神经网络有k个神经元）：
向量化后为：
每个神经元的输出信号z，由激活函数σ和同一个神经元的输入信号a决定（为方便起见，本文中整个神经网络都采用同一种激活函数。但是，实际应用中，隐藏层和输出层的激活函数常常是不一样的）：
