• 机器学习基础


    机器学习的概念

    机器学习是什么

    • 机器学习的定义
      • 机器学习(Machine Learning,ML)主要研究计算机系统对特定任务的性能,逐步进行改善的算法和统计模型。
      • 通过输入海量训练数据对模型进行训练,是模型掌握数据所蕴含的潜在规律,进而对新输入的数据进行准确的分类或预测。
      • 是一门多领域交叉学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

    在这里插入图片描述

    机器学习的分类

    有监督学习

    提供数据并提供数据对应结果的机器学习过程。

    在这里插入图片描述

    • 监督学习(supervised Learning)算法构建了包含输入和所需输出的一组数据的数学模型。这些数据称为训练数据,由一组训练样本组成。
    • 监督学习主要包括分类回归
    • 当输出被限制为有限的一组值(离散数值)时,使用分类算法
    • 当输出可以具有范围内的任意数值(连续数值)时,使用回归算法
    • 相似度学习是和回归和分类都密切相关的一类监督机器学习,它的目标是使用相似性函数从样本中学习,这个函数可以度量两个对象之间的相似度或关联度。它在排名、推荐系统、视觉识别跟踪、人脸识别等方面都有很好的应用场景。
    • 应用(预测房价或房屋出售情况):

    在这里插入图片描述

    无监督学习

    提供数据并且不提供数据对应结果的机器学习过程。

    • 无监督学习(Unsupervised Learning)算法采用一组仅包含输入的数据,通过寻找数据中的内在结构来进行样本点的分组或聚类。
    • 算法从没有被标记或分类的测试数据中学习。
    • 无监督学习算法不是相应反馈,而是要识别数据中的共性特征;对于一个新数据,可以判断其中是否存在这些特征,来做出相应的反馈。
    • 无监督学习的核心应用是统计学中的密度估计聚类分析
    • 应用:

    在这里插入图片描述

    强化学习

    通过与环境交互并获取延迟返回进而改进行为的学习过程。

    图谱

    在这里插入图片描述

    监督学习深入介绍

    监督学习三要素

    在这里插入图片描述

    • 模型(model):总结数据的内在规律,用数学函数描述的系统。
    • 策略(strategy):选取最优模型的评价准则。
    • 算法(algorithm):选取最优模型的具体方法。

    实现步骤

    • 得到一个有限的训练数据集
    • 确定包含所有学习模型的集合
    • 确定模型选择的准则,也就是学习策略
    • 实现求解最优模型的算法,也就是学习算法
    • 通过学习算法选择最优模型
    • 利用的到的最优模型,对新数据进行预测或分析

    模型评估策略

    • 模型评估:
      • 训练集测试集
      • 损失函数经验风险
      • 训练误差测试误差
    • 模型选择:
      • 过拟合欠拟合
      • 正则化交叉验证

    训练集和测试集

    我们将用来训练模型的数据称为训练集,将用来测试模型好坏的集合称为测试集

    • 训练集:输入到模型中对模型进行训练的数据集合。
    • 测试集:模型训练完成后测试训练效果的数据集合。

    损失函数

    • 损失函数用来衡量模型预测误差的大小。

    • 定义:选取模型f为决策函数,对于给定的输入参数x,f(x)为预测结果,Y为真实结果;f(x)与Y之间可能会有偏差,我们就用一个损失函数(loss function)来度量预测偏差的成度,记作L(Y,f(X))。

    • 损失函数的系数是函数。

    • 损失函数越小,模型就越好。

    • 常见损失函数:

    在这里插入图片描述

    经验风险

    在这里插入图片描述

    训练误差和测试误差

    在这里插入图片描述

    过拟合和欠拟合

    在这里插入图片描述

    • 前两个(欠拟合),后两个(过拟合):

    在这里插入图片描述

    欠拟合
    • 模型没有很好地捕捉数据特征,特征集过小,导致模型不能很好地拟合数据,称之为欠拟合(under-fitting)
    • 欠拟合的本质是对数据的特征“学习”得不够
    过拟合
    • 把训练数据学的太彻底,以至于把噪声数据的特征也学习到了,特征集过大,这样就就会导致在后期测试的时候不能很好地识别数据,即不能正确的分类,模型泛化能力太差,称之为过拟合(over-fitting)

    模型的选择

    在这里插入图片描述

    正则化

    在这里插入图片描述

    交叉验证

    • 数据集划分
      • 如果样本数据充足,一种简单的方法是随机将数据集切成三部分:训练集(training set)、验证集(validation set)和测试集(test set)
      • 训练集用于训练模型,验证集用于模型选择,测试集用于学习方法评估。
    • 数据不充分时,可以重复地利用数据——交叉验证(cross validation)
      • 简单交叉验证:
        • 数据随机分为两部分,如70%作为训练集,30%作为测试集
        • 训练集在不同的条件下(比如参数个数)训练模型,得到不同的模型
        • 在测试集上评价各个模型的测试误差,选出最优模型
      • S折交叉验证:
        • 将数据随机切分为S个互不相交、相同大小的子集;S-1个做训练集,剩下一个做测试集
        • 重复进行训练集、测试集的选取,有S种可能的选择
      • 留一交叉验证

    分类和回归

    • 监督学习问题主要可以划分为两类:分类问题回归问题
      • 分类问题预测数据属于哪一类别——离散
      • 回归问题根据数据预测一个数值——连续

    分类问题

    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述

    回归问题

    在这里插入图片描述

    回归问题的分类

    • 按照输入变量的个数:一元回归多元回归
    • 按照模型类型:线性回归非线性回归

    回归学习的损失函数——平方损失函数

    如果选取平方损失函数作为损失函数,回归问题可以用著名的最小二乘法(least squares)来求解

    模型求解算法

    梯度下降算法

    • 梯度下降(gradient descent)是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一。
    • 梯度方向:函数变化增长最快的方向(变量沿此方向变化时函数增长最快)
    • 负梯度方向:函数变化减少最快的方向(变量沿此方向变化时函数减少最快)
    • 损失函数是系数的函数,那么如果系数沿着损失函数的负梯度方向变化,此时损失函数减少最快,能够以最快速度下降到极小值。

    在这里插入图片描述

    在这里插入图片描述

    牛顿法和拟牛顿法

    在这里插入图片描述

  • 相关阅读:
    腾讯大佬资深架构师深度解析微服务架构设计之SpringCloud+Dubbo
    centos启动tomcat 并指定jdk 版本
    厂家解读新标准GB21148-2020《足部防护 安全鞋》的变化有哪些(二)
    买极米NEW Z8X的我后悔了,换成当贝F3 Air可真香
    项目成本超支的主要原因以及解决方法
    基于文化算法优化的神经网络预测研究(Matlab代码实现)
    猿创征文|力扣15 - 三数之和【奇妙的双指针】
    方格取数 (两条路径,使得取得的数字和为最大)
    【gcc】RtpTransportControllerSend学习笔记 1
    编译原理总结
  • 原文地址:https://blog.csdn.net/weixin_46351593/article/details/130862526