神经网络的流式训练

AI研习社 - 研习AI产学研新知，助力AI学术开发者成长。

这里说的流式训练指的是，把文件存成pickle格式，之前直接是array输入。存成pickle格式的智慧，先读一份，然后训练，把这份删掉，再读取另外一份数据。

fm

https://www.jianshu.com/p/35f4d6b8fdd3

https://www.jianshu.com/p/152ae633fb00

介绍一下fm:

fm是特征的一种显性交叉方式，是为了解决在数据稀疏的情况下，特征怎样去组合的问题。在数据很稀疏的情况下，满足两个特征xi,xj都不为0的情况非常少，这样将导致ωij无法通过训练得出：当x为0时，偏倒数为0，梯度无法更新，即无法求出参数值。

所以根据线性代数里矩阵分解的性质，若P为满秩矩阵，则P可分解为 P=AB的形式。最终把多项式组合的交叉形式化简为特征的embedding先相加再平方，先平方再相加的一种降维形式。

fm的公式：

n放变成kn复杂度，k是什么,k是embedding size

dcn和xdeepfm

deepfm和din

优缺点

wide deep

deepfm优点：可以同时学到低阶和高阶的特征交叉

DeepFM包含两部分：神经网络部分与因子分解机部分，分别负责低阶特征的提取和高阶特征的提取。这两部分共享同样的embedding输入。

deepfm缺点：1.类别特征是sum pooling的，损失了一部分信息。2.也是所有embedding based模型的缺点吧，embedding把特征映射到了向量维度，具有泛化性(推出来的商品多样性好），但是可能会过于泛化(推出来不相关的商品)

din的优点：

兴趣权重

缺点：听说上线没什么效果。