• 机器学习第十四课--神经网络


    总结起来,对于深度学习的发展跟以下几点是离不开的:

    • 大量的数据(大数据)
    • 计算资源(如GPU)
    • 训练方法(如预训练)

      很多时候,我们也可以认为真正让深度学习爆发起来的是数据和算力,这并不是没道理的。

     由于神经网络是深度学习的基础,学习神经网络本身是非常必要的。神经网络中所涉及到的前向传播、反向传播等技术以及梯度消失等现象都会出现在其他深度学习模型如深度神经网络、卷积神经网络、RNN、LSTM中。我们强烈先学好神经网络再去接触深度学习相关的技术,这样会事半功倍。

    神经网络,首先是线性变换,然后通过激活函数非线性化

    一.线性激活函数

    线性激活函数实际上是没作用的,即便加了也等于什么都没加,因为它对信号不会做任何的处理。这有点类似于管道,来了信号之后原封不动地输出出去。之所以提出线性激活函数,其主要目的是为了完整性。那什么会用到线性激活函数呢?通常在,深度模型中的最后一层会用到。另外,如果我们没有叠加任何的激活函数到神经元,默认可以认为是加了线性激活函数。

    二.非线性激活函数

    2.1Sigmoid激活函数

    定义域 :负无穷到正无穷

    值域:0到1

    特点:

    1.值域映射到0-1

    2.有边界

    3.递增

    2.2二分类问题

    2.3tanh激活函数

    三.拥有一层隐含层的神经网络

    单个输出

     多个输出---softmax激活函数

    四.多层神经网络

    当我们增加额外的隐含层时就可以得到多层神经网络。至于隐含层的个数是没有限制的,我们可以随意搭建很多层的神经网络。为什么要增加隐含层呢?道理很简单,增加隐含层可直接导致模型的复杂度变高,随之带来的就是可以学出x到y的更复杂的映射关系。

    首先  这里的参数只有w和b  根据x1-xd输入  输出f(x) 然后会有一个loss  然后反向传播(梯度下降法)求w和b

    注:对于分类问题,最后一层的激活函数是softmax

    五.深度神经网络的损失函数

    任何模型训练的第一步是明确损失函数。模型训练过程无非就是在优化损失函数,从而找到让损失函数最小的模型的参数。在这一节我们主要以深度神经网络为例来讲解反向传播算法,自然而然的,第一步就是要定义出损失函数。在这里先假定任务是分类任务,所以损失部分需要使用交叉熵损失(cross-entropy loss)。

  • 相关阅读:
    设计模式教程
    位置信息API
    java毕业设计菜篮子系统mybatis+源码+调试部署+系统+数据库+lw
    遥感之特征选择-禁忌搜索算法
    提升办公效率,畅享多功能办公笔记软件Notion for Mac
    MyBatis - 代理
    三坐标CMM尺寸公差质量SPC管理工具
    4路光栅尺磁栅尺编码器解码转换5MHz高速差分信号转Modbus TCP网络模块 YL97-RJ45
    indexDB 本地数据库
    【达摩院OpenVI】视频目标渐进式Transformer跟踪器ProContEXT
  • 原文地址:https://blog.csdn.net/weixin_68063596/article/details/133219768