第二阶段的局限性
1991年，BP算法被指出存在梯度消失问题，即在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习。参数过多，以及参数的调优，也是当时神经网络被诟病的问题。
第三阶段的成果：AlexNet
2012年，辛顿课题组为了证明深度学习的潜力，首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。也正是由于该比赛，CNN吸引到了众多研究者的注意。
第三阶段：快速发展
从2012年之后，深度学习的热度呈现指数级上升，到2016年时，深度学习已经成为了谷歌上最热门的搜索词。同时，短短几年时间，深度学习推广到了机器学习的各个领域，包括：图像识别、语音识别、音频处理、自然语言处理、机器人、生物信息处理、搜索引擎、网络广告投放和金融等。
提到深度学习，就不得不提机器学习和人工智能。很多人容易把这三个概念弄混，我们可以参考下面的图来理解这三者的区别和联系。
