机器学习是人工智能研究发展到一定阶段的必然产物。
20世纪50年代-20世纪70年代初：
人工智能研究处于推理期。
人们以为只要能赋予机器逻辑推理能力，机器就能具有智能。
但是人们逐渐意识到光有逻辑推理能力不够用。
20世纪70年代：
人工智能研究进入知识期。
要使机器具有智能，就必须设法使机器拥有知识。
但是事实上人总结知识然后教给计算机太过于困难。
20世纪80年代：
从样例中学习：
1983年将机器学习划分为：“机械学习”，“示教学习”，“类比学习”，“归纳学习”。
“机械学习” 即把外界输入的信息全部记录下来，在需要时原封不动的取出使用；
“示教学习和类比学习” 从指令中学习，通过观察和发现学习。
归纳学习 从样例中学习，即从训练样例中归纳出学习结果。其涵盖监督学习、无监督学习等，至今为主流机器学习思想。
20世纪90年代中期之前：
“从样例中学习”的另一个主流技术是基于神经网络的连接主义学习。
1986年著名的BP算法产生了深远的影响。
20世纪90年代中期：
“统计学习” 闪亮登场。代表性技术是支持向量机SVM。
21世纪初：
连接主义卷土重来，深度学习以其多层神经网络，在复杂的对象的应用中取得优越的性能。
深度学习技术设计的模型复杂度非常高，以至于只要下功夫去调参，参数调节好往往性能就是好。因此深度学习虽然缺乏严格的理论基础，但是显著降低了机器学习应用者的门槛。
深度学习热门的原因：
1）数据大了：
深度学习模型具有大量参数，若数据样本少，容易产生“过拟合”；
2）计算能力强了：
强大的计算设备，使得跑一个数据集不需要几月了。