1.2 无监督学习和强化学习

---

无监督学习

定义

无监督学习 (Unsupervised Learning）是指从无标注数据中学习预测模型的机器学习问题，其本质是学习数据中的统计规律或潜在结构。

无监督学习与监督学习的区别

监督学习：

• 标注数据：表示输入输出的对应关系
• 预测模型：对给定的输入产生相应的输出
• 本质：学习输入到输出的映射的统计规律

无监督学习：

• 无标注数据：自然得到的数据
• 预测模型：表示数据的类别、转换或概率
• 本质：学习数据中的统计规律或潜在结构

相关概念

输入空间：X
隐式结构空间：Z
模型：函数$z=g(x)$，条件概率分布$P(z\mid x)$或条件概率分布$P(x\mid z)$
假设空间（Hypothesis Space）：所有这些可能模型的集合。
目的：选出在给定评价标准下的最优模型。
样本容量为N的训练集:
U = { x 1 , x 2 , ⋯   , x N } U=\left\{x_{1}, x_{2}, \cdots, x_{N}\right\} U={x1​,x2​,⋯,xN​}

流程图

强化学习

假如环境中，有一个奖励$r_t$，如果采取动作$a_t$，环境就能根据智能系统，来决定下一个状态$s_{t+1}$、奖励$r_{t+1}$，之后再不停地循环，智能系统决定下一个状态和奖励是根据长期累积奖励最大化来实现的。

强化学习可以基于策略，也可以基于价值，基于策略则选择最优策略，而基于价值的选择最优价值，之后会的得到一个最优模型。

注：以上笔记素材来自于 B站_简博士_十分钟 机器学习 系列视频 《统计学习方法》