word2vec

词向量生成

1 one hot

根据字典中单词的个数构造向量，对于第i个单词其第i个维度的值为1，其余赋值为0，
one-hot的维度由词库的大小决定
缺点：
1所有向量的点积都为0，都是正交的，无法得出彼此之间的相似性，无法得出词与词之间的语义信息
2维度灾难

2 词的分布相似表示

核心思想：“你应该通过一个单词的同伴知道它的意思”
分布相似性是一种关于词汇语义的理论

word2vec

CBOW模型和Skip-gram模型
CBOW：由上下文词预测中心词
Skip-gram：由中心词预测上下文词
他们的区别结构仅仅是输入层和输出层的不同
如下：

在理解各个模型的特点时要明白一个道理，词向量的生成不是模型训练的目的，而是建立每个词与上下文关系的过程中，不断训练，调参，调优得到的附带产物。最终实现最优化损失函数的时候得到的包含语义属性的词向量

softmax 与 sigmoid激活函数的区别，Softmax函数是二分类函数Sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来，softmax函数所得的值的累积和是1，而sigmoid并没此要求。softmax函数要求输出答案互斥，比如分类结果要么是狗要么是猫，而sigmoid函数并不独占输出。当然它们各有各自的优缺点。