机器学习概论

1.什么是机器学习？

机器 = 函数

学习:造机器，调参数

2.机器学习的方法都有哪些类型？

2.1 ____机
感知机Perceptron、多层感知机MLP、支持向量机SVM、玻尔兹曼机BM、受限玻尔兹曼机RBM
2.2 ____器
线性判别器、Fisher判别器、贝叶斯分类器、高斯判别器
2.3 ____网(络)
神经网络家族、对抗生成网络、卷积神经网络、递归神经网络、贝叶斯网络、弹性网
2.4 ____机场
条件随机场、马尔科夫随机场
2.5 ____模型
高斯混合模型、隐马尔科夫模型、概率图模型、非线性非高斯模型
2.6 植物相关
随机森林、决策树、蕨类植物

3.机器学习的组成？

数据data、模型model、算法algorithm、损失loss、应用application
算法algorithm:怎么进行优化，比如梯度下降…

4.样本相似性和特征相似性矩阵

样本相似性矩阵：$X$$X^T$
特征相似性矩阵：$X^T$$X$

5.人工智能发展的四个阶段

推理:产生式系统
知识:专家系统 <----机器学习（出现）
特征:HOG、LBP
数据:deep learning

6.人工智能的体系

基础：高等数学分析、代数矩阵、概率论、统计学、随机过程…
↓
核心：深度学习、规则学习、遗传算法、核方法、统计机器学习、强化学习
↓
应用：nlp/cv/语音/专家系统 /知识图谱/游戏AI

7.机器学习三要素

三要素：模型、损失函数、算法
1.模型
模型 = 函数
模型空间：可以选择的函数集合
2.损失函数
0-1损失函数
平方损失函数
绝对值损失函数
指数损失函数 -logP(y|x) —>MLE
合页损失函数 max{0，1 - y f(x) } —>svm
逻辑斯蒂回归损失函数 log( 1 + exp{ - y f(x) } )
Boosting损失函数 exp{ - y f(x) }
3.算法
算法是要让损失函数的值最大或最小用什么方法求出来，比如梯度下降。