概念层面上来讲，深度学习是受到大脑的启发。
就像飞机的设计灵感来自鸟类。
虽然它们的基本原理一致，但细节却大相径庭。
深度学习的历史可以追溯到现在更名为「控制论」（cybernetics）的领域。
它始于 1940 年代的 McCulloch 和 Pitts，他们提出了神经元是具有开启和关闭状态的阈值单元，可以通过构建逻辑推理并将神经元相互连接来构建布尔电路。
大脑基本上是一个逻辑推理机，因为神经元的开启和关闭状态是二元的。
神经元计算输入的加权总和，并将该总和与其阈值进行比较。
如果它高于阈值则打开，如果低于阈值则关闭，这是神经网络如何工作的简化视图。
1947 年，唐纳德·赫布 (Donald Hebb) 提出大脑中的神经元通过改变神经元之间连接的强度来学习的想法，这被称为超学习。如果两个神经元一起被激发，那么它们之间的连接就会增加；如果他们没有被一起激发，那么连接就会减少。
1948 年，诺伯特·维纳（Norbert Wiener）提出了控制论，即通过构建带有传感器和执行器的系统，就有了一个反馈回路和一个自我调节系统。例如，一辆车的反馈机制，都来自于这个想法。
1957 年，Frank Rosenblatt 提出了「感知器」，这是一种学习算法，可以修改非常简单的神经网络的权重。
总体而言，这种试图通过模拟大量神经元来构建智能机器的想法诞生于 1940 年代，在 1950 年代发展迅速，并在 1960 年代后期完全消亡。
该领域在 1960 年消亡的主要原因是：
● 研究人员使用了二元神经元。然而，让反向传播工作的方法是使用连续的激活函数。当时，研究人员没有使用连续神经元的想法，他们不能用梯度训练，因为二元神经元不是微分的。
● 对于连续神经元，必须将神经元的激活函数乘以权重才能对加权和做出贡献。然而，在 1980 年之前，两个数的乘法，尤其是浮点数，非常缓慢。这也是另一个避免使用连续神经元的原因。
●
随着反向传播的出现，深度学习在 1985 年再次起飞。
1995 年，该领域再次消亡，机器学习社区放弃了神经网络的想法。
2010 年初，人们开始在语音识别中使用神经元网络，性能大幅提升，随后在商业领域得到广泛应用。
2013 年，计算机视觉开始转向神经元网络。
2016 年，自然语言处理也发生了同样的转变，很快，类似的革命将发生在机器人、控制和许多其他领域。