激活层（Activation Layer）
激活层模拟人的神经系统，只对部分神经元的输入做出反应。激活层主要采用非线性激活函数，如果采用线性函数，那么多层神经网络也只有线性映射能力，输出都是输入的线性组合，无法模拟现实世界中各种复杂的非线性情况。
非线性激活函数最常用的有sigmoid、tanh和relu。目前主要使用relu函数，因为sigmoid和tanh在x趋于无穷的两侧，都会出现导数为0的现象，从而造成梯度消失，无法更新网络状态。
全连接层（Fully Connected Layer）
全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的，计算量和占用内存也是最多的。例如：在VGG16中，第一个全连接层FC1有4096个节点，上一层POOL2是7*7*512 = 25088个节点，则需要4096*25088 = 102760448个权值，需要耗很大的内存。
损失层（Loss Layer）
损失层设置了一个损失函数（也叫目标函数）用来比较网络的输出和目标值，通过最小化损失来驱动网络的训练。网络损失通过前向传播计算，网络权重参数相对于损失函数的梯度通过反向传播计算。
损失函数是在前向传播计算中得到的，同时也是反向传播的起点。损失函数基本都是由真实值和预测值两部分组成。正确的损失函数，可以起到让预测值一直逼近真实值的效果，当预测值和真实值相等时，loss值最小。
2012年深度学习爆火之后，相继出现了很多经典的网络模型，这些模型对深度学习的迅速发展起到了非常重要的作用。
经典模型之AlexNet
在2012年ILSVRC（ImageNet Large-Scale Visual Recognition Challenge）赢得了分类识别第一名的好成绩（TOP 5错误率为15.4%）。AlexNet由5层卷积层、最大池化层、dropout层和3层全连接层组成，用于对1000个类别图像进行分类。
1、在ImageNet数据集上训练网络，其中数据集超过22000个类，总共有大于1500万张注释的图像。
2、使用ReLU非线性激活函数，并利用dropout方法解决过拟合问题。
3、在两台GTX 580 GPU上训练了五至六天。
