第一阶段的局限性
1969年，美国数学家及人工智能先驱明斯基在其著作中证明了感知器本质上是一种线性模型，只能处理线性分类问题，连最简单的XOR（亦或）问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了将近20年的停滞。
第二阶段的成果1：BP算法、非线性分类
1986年，深度学习的大牛辛顿发明了适用于多层感知器（MLP）的反向传播（BP）算法，并采用Sigmoid进行非线性映射，有效解决了非线性分类问题。同时，BP算法也解决了明斯基指出的双层网络难以训练的问题，使一层以上的神经网络进入了实用阶段，开启了第二轮神经网络的研究热潮。
第二阶段的成果2：万能逼近定理
1989年，美国应用数学家乔治-塞班克证明了MLP的万能逼近定理，即对于任何闭区间内的一个连续函数，都可以用含有一个隐含层的BP网络来逼近。后来，奥地利数学家科特-霍尼克进一步完善了该理论，证明了神经网络的拟合能力是接近无限强的，任意复杂的分类决策边界都可以被逼近。至此，神经网络的研究又进入了一个新的高潮。
第二阶段的成果3：卷积神经网络
1989年，大神杨乐昆（现任纽约大学教授、Facebook副总裁兼人工智能首席科学家）提出了后来名满天下，第一个真正意义上的深度学习网络，也是目前深度学习中应用最广的神经网络结构——卷积神经网络（Convolutional Neural Networks, CNN）LeNet，并将其用于数字识别，且取得了较好的成绩，不过当时并没有引起足够的注意。
