• word2vec包中cbow模型--学习笔记

    1. 基于Hierarchical softmax的CBOW模型
      1. 网络结构：包括3层，分别为输入层，投影层和输出层
        1. 假设Context(w)是由词w的前后各c个词组成
        2. 输入层：包含Context（w）中2c个词的词向量
        3. 投影层：将输入层的2c个向量做求和累加
        4. 输出层对应一个二叉树：以语料中出现过的词当叶子节点，以各词在语料中出现的次数当权值构造出来的huffman树。
      2.  特点：对神经概率语言模型对比
        1. 从输入层到投影层的操作上，神经概率模型通过拼接的方式，而CBOW采用累加的方式
        2. 从有无隐藏层来看，神经概率模型有隐藏层，而CBOW没有隐藏层
        3. 从输出层来看，神经概率模型的输出层是线性结构，而CBOW是树形结构，针对神经概率模型大规模的矩阵运算和softmax归一运算，CBOW对其作出了优化，首先去掉了隐藏层，同时输出层改用Huffman树，从而为利用Hierarchical Softmax技术奠定了基础。
      3. Hierarchical Softmax技术是word2vec中用于提高性能的一项关键技术
      4. 定义条件概率：从根节点到叶子节点的过程中，经历的每个分支都看做一次二分类。且除根节点外，树中每个点都对应了一个取值为0或1的Huffman编码。因此在word2vec中，将编码为0的结点定义为负类，编码为1的点定义为正类。即将一个结点进行分类时，分到左边就是负类，分到右边就是正类。于词典D的任意词w，Huffman 树中必定存在一条从根结点到该词的路径，路径长度为l，则路径上存在l-1个分支，将每一个分支作为二分类，每一次分类产生一个概率，将所有的概率相乘，就得到所需的p(w|Context(w))。
      5. word2vec里面采用的是随机梯度上升法（求最小值用梯度下降法，求最大值用梯度上升法）
    2. 基于负采样的CBOW模型：
      1. 利用随机负采样，大幅提升了计算性能。
      2. 在CBOW模型中，已知词w的上下文Context(w)，需要预测w，因此对于给定的Context(w)来说，词w就是一个正样本，其他词就是一个负样本了。
      3. 正样本的标签是1，负样本的标签是0.

        

  • 相关阅读:
    stable-diffusion-webui安装与使用过程中的遇到的error合集
    八、MySql表的复合查询
    入门数据库Days4
    Vue中数据可视化关系图展示与关系图分析
    声学特征提取
    【Python3】【力扣题】268. 丢失的数字
    2024国际生物发酵展畅想未来-势拓伺服科技
    练习六-使用Questasim来用verilog使用function函数
    电脑如何查看是否支持虚拟化及如何开启虚拟化
    如何理解Spring的IOC和AOP
  • 原文地址：https://blog.csdn.net/weixin_45647721/article/details/126592440