机器学习是一门能够让系统从数据中学习的计算机科学。
不存在已知算法解决方案的复杂问题，需要大量手动调整或是规则列表超长的问题，创建可以适应环境波动的系统，帮助我们学习。
包含每个实例所期望的解决方案的训练集。
监督式：回归与分类；无监督式：聚类、可视化、降维和关联规则学习。
模型有一个或多个参数，这些参数决定了模型对新的给定实例会做出怎样的预测。学习算法试图找到这些参数的最佳值，使得该模型能够很好地泛化至新实例。超参数是学习算法本身的参数，不是模型参数。
基于模型的学习算法搜索的是使模型泛化最佳的模型参数值。通常通过使成本函数最小化来训练这样的系统，成本函数衡量的是系统对训练数据的预测有多坏，如果模型有正则化，则再加上一个对模型复杂度的惩罚。