• 【推荐系统】DeepFM模型

    因子分解机(Factorization Machines, FM)通过对于每一维特征的隐变量内积来提取特征组合。虽然理论上来讲FM可以对高阶特征组合进行建模，但实际上因为计算复杂度的原因一般都只用到了二阶特征组合，对于更高阶的特征组合，可以用Deep解决。

    FM因子分解机

    数学原理: 

    • 当k足够大时，对于任意对称正定的实矩阵W\epsilon R^{n*n},均存在实矩阵V \epsilon R^{n*k},使得W = VV^{T} 

    FM模型 

    • w0为偏置项，蓝色部分为特征一阶计算，橘色部分为特征二阶计算（包含特征的隐向量内积计算）

    •  特征二阶计算中，将特征矩阵W分解为两个隐向量矩阵vi,vj

     两个隐向量矩阵做矩阵运算得到W特征矩阵

    •  当二阶特征交叉时，不仅两个特征Xi,Xj之间相乘，这两个特征的各自的隐向量之间也要做内积运算。

     FM模型二阶计算部分推导

    • 二阶计算部分 = 特征矩阵除对角线元素之外元素的一半（特征矩阵对称正定矩阵，对角线两侧元素完全相同。）

    DeepFM

    DeepFM包含两部分：神经网络部分与因子分解机部分，分别负责低阶特征的提取和高阶特征的提取。这两部分共享同样的输入。

    1. 不需要预训练 FM 得到隐向量；
    2. 不需要人工特征工程；
    3. 能同时学习低阶和高阶的组合特征；
    4. FM 模块和 Deep 模块共享 Feature Embedding 部分，可以更快的训练，以及更精确的训练学习。

    1. import tensorflow as tf
    2.  
    3. def get_dataset(file_path):
    4.     dataset = tf.data.experimental.make_csv_dataset(
    5.         file_path,
    6.         batch_size=12,
    7.         label_name='label',
    8.         na_value="0",
    9.         num_epochs=1,
    10.         ignore_errors=True)
    11.     return dataset
    12.  
    13.  
    14. train_dataset = get_dataset('trainingSamples.csv')
    15. test_dataset = get_dataset('testSamples.csv')
    16.  
    17. #输入特征
    18. inputs = {
    19.     'movieAvgRating': tf.keras.layers.Input(name='movieAvgRating', shape=(), dtype='float32'),
    20.     'movieRatingStddev': tf.keras.layers.Input(name='movieRatingStddev', shape=(), dtype='float32'),
    21.     'movieRatingCount': tf.keras.layers.Input(name='movieRatingCount', shape=(), dtype='int32'),
    22.     'userAvgRating': tf.keras.layers.Input(name='userAvgRating', shape=(), dtype='float32'),
    23.     'userRatingStddev': tf.keras.layers.Input(name='userRatingStddev', shape=(), dtype='float32'),
    24.     'userRatingCount': tf.keras.layers.Input(name='userRatingCount', shape=(), dtype='int32'),
    25.     'releaseYear': tf.keras.layers.Input(name='releaseYear', shape=(), dtype='int32'),
    26.  
    27.     'movieId': tf.keras.layers.Input(name='movieId', shape=(), dtype='int32'),
    28.     'userId': tf.keras.layers.Input(name='userId', shape=(), dtype='int32'),
    29.     'userRatedMovie1': tf.keras.layers.Input(name='userRatedMovie1', shape=(), dtype='int32'),
    30.  
    31.     'userGenre1': tf.keras.layers.Input(name='userGenre1', shape=(), dtype='string'),
    32.     'userGenre2': tf.keras.layers.Input(name='userGenre2', shape=(), dtype='string'),
    33.     'userGenre3': tf.keras.layers.Input(name='userGenre3', shape=(), dtype='string'),
    34.     'userGenre4': tf.keras.layers.Input(name='userGenre4', shape=(), dtype='string'),
    35.     'userGenre5': tf.keras.layers.Input(name='userGenre5', shape=(), dtype='string'),
    36.     'movieGenre1': tf.keras.layers.Input(name='movieGenre1', shape=(), dtype='string'),
    37.     'movieGenre2': tf.keras.layers.Input(name='movieGenre2', shape=(), dtype='string'),
    38.     'movieGenre3': tf.keras.layers.Input(name='movieGenre3', shape=(), dtype='string'),
    39. }
    40.  
    41. #将类别型特征进行One-hot编码，再进行embedding化得到稠密的特征向量
    42. #movie Id
    43. # One-hot
    44. movie_col = tf.feature_column.categorical_column_with_identity(key='movieId', num_buckets=1001)
    45. #embedding
    46. movie_emb_col = tf.feature_column.embedding_column(movie_col, 10)
    47. #转化成multi-hot
    48. movie_ind_col = tf.feature_column.indicator_column(movie_col)  
    49.  
    50. # user Id 
    51. user_col = tf.feature_column.categorical_column_with_identity(key='userId', num_buckets=30001)
    52. user_emb_col = tf.feature_column.embedding_column(user_col, 10)
    53. user_ind_col = tf.feature_column.indicator_column(user_col)  # user id indicator columns
    54.  
    55. # 不同风格的特征list
    56. genre_vocab = ['Film-Noir', 'Action', 'Adventure', 'Horror', 'Romance', 'War', 'Comedy', 'Western', 'Documentary',
    57.                'Sci-Fi', 'Drama', 'Thriller',
    58.                'Crime', 'Fantasy', 'Animation', 'IMAX', 'Mystery', 'Children', 'Musical']
    59.  
    60. # 将类别特征进行hash映射。根据单词的序列顺序，把单词根据index转换成one hot encoding。
    61. user_genre_col = tf.feature_column.categorical_column_with_vocabulary_list(key="userGenre1",
    62.                                                                            vocabulary_list=genre_vocab)
    63. # indicator_column(),将 categorical_column表示成 multi-hot形式的 dense tensor,同一个元素在一行出现多次, 计数会超过1
    64. user_genre_ind_col = tf.feature_column.indicator_column(user_genre_col)
    65. #embedding_column(),将稀疏矩阵转换为稠密矩阵
    66. user_genre_emb_col = tf.feature_column.embedding_column(user_genre_col, 10)
    67.  
    68. # item genre embedding feature
    69. item_genre_col = tf.feature_column.categorical_column_with_vocabulary_list(key="movieGenre1",
    70.                                                                            vocabulary_list=genre_vocab)
    71. item_genre_ind_col = tf.feature_column.indicator_column(item_genre_col)
    72. item_genre_emb_col = tf.feature_column.embedding_column(item_genre_col, 10)
    73.  
    74. # FM的一阶特征运算
    75. #将预处理完的类别特征列合并
    76. cat_columns = [movie_ind_col, user_ind_col, user_genre_ind_col, item_genre_ind_col]
    77.  
    78. #数值型特征不用经过独热编码和特征稠密化，转换成可以输入神经网络的dense类型直接输入网络
    79. #转换类型
    80. deep_columns = [tf.feature_column.numeric_column('releaseYear'),
    81.                 tf.feature_column.numeric_column('movieRatingCount'),
    82.                 tf.feature_column.numeric_column('movieAvgRating'),
    83.                 tf.feature_column.numeric_column('movieRatingStddev'),
    84.                 tf.feature_column.numeric_column('userRatingCount'),
    85.                 tf.feature_column.numeric_column('userAvgRating'),
    86.                 tf.feature_column.numeric_column('userRatingStddev')]
    87.  
    88. #DenseFeatures（），针对类别型特征生成稠密张量
    89. first_order_cat_feature = tf.keras.layers.DenseFeatures(cat_columns)(inputs)
    90. first_order_cat_feature = tf.keras.layers.Dense(1, activation=None)(first_order_cat_feature)
    91. #针对数值型特征生成稠密张量
    92. first_order_deep_feature = tf.keras.layers.DenseFeatures(deep_columns)(inputs)
    93. first_order_deep_feature = tf.keras.layers.Dense(1, activation=None)(first_order_deep_feature)
    94.  
    95. #添加一个对张量进行求和的层
    96. first_order_feature = tf.keras.layers.Add()([first_order_cat_feature, first_order_deep_feature])
    97.  
    98. ## FM的二阶特征运算
    99. #类别特征
    100. second_order_cat_columns_emb = [tf.keras.layers.DenseFeatures([item_genre_emb_col])(inputs),
    101.                                 tf.keras.layers.DenseFeatures([movie_emb_col])(inputs),
    102.                                 tf.keras.layers.DenseFeatures([user_genre_emb_col])(inputs),
    103.                                 tf.keras.layers.DenseFeatures([user_emb_col])(inputs)
    104.                                 ]
    105.  
    106. second_order_cat_columns = []
    107.  
    108. for feature_emb in second_order_cat_columns_emb:
    109.     feature = tf.keras.layers.Dense(64, activation=None)(feature_emb)
    110.     feature = tf.keras.layers.Reshape((-1, 64))(feature)
    111.     second_order_cat_columns.append(feature)
    112.  
    113. #数值特征
    114. second_order_deep_columns = tf.keras.layers.DenseFeatures(deep_columns)(inputs)
    115. second_order_deep_columns = tf.keras.layers.Dense(64, activation=None)(second_order_deep_columns)
    116. second_order_deep_columns = tf.keras.layers.Reshape((-1, 64))(second_order_deep_columns)
    117. second_order_fm_feature = tf.keras.layers.Concatenate(axis=1)(second_order_cat_columns + [second_order_deep_columns])
    118.  
    119. #二阶特征计算
    120. deep_feature = tf.keras.layers.Flatten()(second_order_fm_feature)
    121. deep_feature = tf.keras.layers.Dense(32, activation='relu')(deep_feature)
    122. deep_feature = tf.keras.layers.Dense(16, activation='relu')(deep_feature)
    123.  
    124.  
    125. class ReduceLayer(tf.keras.layers.Layer):
    126.     #init（），参数初始化
    127.     def __init__(self, axis, op='sum', **kwargs):
    128.         super().__init__()
    129.         self.axis = axis
    130.         self.op = op
    131.         assert self.op in ['sum', 'mean']
    132.         
    133.     #获取输入数据的shape
    134.     def build(self, input_shape):
    135.         pass
    136.     
    137.     #调用call（）会被执行
    138.     def call(self, input, **kwargs):
    139.         if self.op == 'sum':
    140.             return tf.reduce_sum(input, axis=self.axis)
    141.         elif self.op == 'mean':
    142.             return tf.reduce_mean(input, axis=self.axis)
    143.         return tf.reduce_sum(input, axis=self.axis)
    144.  
    145.  
    146. second_order_sum_feature = ReduceLayer(1)(second_order_fm_feature)
    147. second_order_sum_square_feature = tf.keras.layers.multiply([second_order_sum_feature, second_order_sum_feature])
    148. second_order_square_feature = tf.keras.layers.multiply([second_order_fm_feature, second_order_fm_feature])
    149. second_order_square_sum_feature = ReduceLayer(1)(second_order_square_feature)
    150. ## second_order_fm_feature
    151. second_order_fm_feature = tf.keras.layers.subtract([second_order_sum_square_feature, second_order_square_sum_feature])
    152.  
    153.  
    154. concatenated_outputs = tf.keras.layers.Concatenate(axis=1)([first_order_feature, second_order_fm_feature, deep_feature])
    155. output_layer = tf.keras.layers.Dense(1, activation='sigmoid')(concatenated_outputs)
    156.  
    157. model = tf.keras.Model(inputs, output_layer)
    158. # compile the model, set loss function, optimizer and evaluation metrics
    159. model.compile(
    160.     loss='binary_crossentropy',
    161.     optimizer='adam',
    162.     metrics=['accuracy', tf.keras.metrics.AUC(curve='ROC'), tf.keras.metrics.AUC(curve='PR')])
    163.  
    164. # train the model
    165. model.fit(train_dataset, epochs=5)
    166.  
    167. # evaluate the model
    168. test_loss, test_accuracy, test_roc_auc, test_pr_auc = model.evaluate(test_dataset)
    169. print('\n\nTest Loss {}, Test Accuracy {}, Test ROC AUC {}, Test PR AUC {}'.format(test_loss, test_accuracy,
    170.                                                                                    test_roc_auc, test_pr_auc))
    171.  
    172. # print some predict results
    173. predictions = model.predict(test_dataset)
    174. for prediction, goodRating in zip(predictions[:12], list(test_dataset)[0][1][:12]):
    175.     print("Predicted good rating: {:.2%}".format(prediction[0]),
    176.           " | Actual rating label: ",
    177.           ("Good Rating" if bool(goodRating) else "Bad Rating"))

     【王喆-推荐系统】模型篇-(task7)DeepFM处理交叉特征

     推荐系统 - DeepFM架构详解

  • 相关阅读:
    关于lenra你需要了解的
    【AI绘画】免费GPU Tesla A100 32G算力部署Stable Diffusion
    SpringBoot连接MySQL数据库，使用Mybatis框架（入门）
    python快速构建http服务
    卷积神经网络处理图像,卷积神经网络图像增强
    Upload-labs 1~15 通关详细教程
    含文档+PPT+源码等]精品基于Uniapp实现的美食APP[包运行成功]计算机毕业设计安卓项目源码
    大数据Doris（十）：添加BE步骤
    开发基于 ChatGPT 分析热点事件并生成文章的网站应用【热点问天】把百度等热点用chatGPT来对热点事件分析海量发文章 开发步骤 多种方式获取利润
    vue从地址栏输入路径后path和导航按钮不匹配问题
  • 原文地址：https://blog.csdn.net/m0_51933492/article/details/126888136