经典模型之VGGNet
2014年，牛津大学学者创建了一个新的卷积神经网络模型，19层卷积层，卷积核尺寸为3×3 （TOP 5错误率为7.3%） 。
1、AlexNet模型中卷积核尺寸11×11，VGG Net的卷积核为3×3。两个3×3的conv层相当于一个5×5的有效感受野，这样就可以用较小的卷积核尺寸模拟更大尺寸的卷积核，好处是可以减少卷积核参数的数量。
2、三个3×3的conv层拥有7×7的有效感受野。
3、在4个Nvidia Titan Black GPU上训练两到三周。
经典模型之GoogleNet
GoogleNet是一个具有22个conv层的CNN网络，在ILSVRC 2014中以6.7%的TOP5错误率登顶冠军。
1、在整个架构中使用了Inception模块，总共超过100层。
2、没有使用全连接层，使用的是average polling。
3、参数是AlexNet的1/12，原因包括：一是除去了全连接层；二是1×1卷积核降维的效果。
4、利用一些高端的GPU进行了大概一周的训练。
经典模型之ResNet
2015年，微软亚洲研究院创造了一种令人难以置信的152层的深度学习模型ResNet，其在ILSVRC 2015的错误率仅仅为3.6%，已经高于人类肉眼识别的错误率。
1、微软亚洲研究院的研究小组曾经尝试过1202层的网络结构，但是测试精度很低，可能是由于过拟合的原因导致的。
2、在8台GPU机器上训练了2到3周。
深度学习的框架非常之多，每个框架的特性和侧重点不同。这里，我们仅选择几个有代表性的框架进行介绍。
