16. deepfefm (Field-Embedded Factorization Machines for Click-through rate prediction)¶

代码请参考：deepfefm如果我们的代码对您有用，还请点个star啊~

16.1. 内容¶

模型简介
数据准备
运行环境
快速开始
模型组网
效果复现
进阶使用
FAQ

16.2. 模型简介¶

CTR(Click Through Rate)，即点击率，是“推荐系统/计算广告”等领域的重要指标，对其进行预估是商品推送/广告投放等决策的基础。简单来说，CTR预估对每次广告的点击情况做出预测，预测用户是点击还是不点击。CTR预估模型综合考虑各种因素、特征，在大量历史数据上训练，最终对商业决策提供帮助。本模型实现了下述论文中的deepFEFM模型：

@article{pande2020field,
  title={Field-Embedded Factorization Machines for Click-through rate prediction},
  author={Pande, Harshit},
  journal={arXiv preprint arXiv:2009.09931},
  year={2020}
}

本模型来自飞桨论文复现挑战赛（第四期）DeepFEFM冠军方案。

16.3. 数据准备¶

训练及测试数据集选用Display Advertising Challenge所用的Criteo数据集。该数据集包括两部分：训练集和测试集。训练集包含一段时间内Criteo的部分流量，测试集则对应训练数据后一天的广告点击流量。每一行数据格式如下所示：

<label> <integer feature 1> ... <integer feature 13> <categorical feature 1> ... <categorical feature 26>

其中<label>表示广告是否被点击，点击用1表示，未点击用0表示。<integer feature>代表数值特征（连续特征），共有13个连续特征。<categorical feature>代表分类特征（离散特征），共有26个离散特征。相邻两个特征用\t分隔，缺失特征用空格表示。测试集中<label>特征已被移除。在模型目录的data目录下为您准备了快速运行的示例数据，若需要使用全量数据可以参考下方效果复现部分。

16.4. 运行环境¶

PaddlePaddle>=2.0

python 2.7/3.5/3.6/3.7

os : windows/linux/macos

16.5. 快速开始¶

本文提供了样例数据可以供您快速体验，在任意目录下均可执行。在deepfefm模型目录的快速执行命令如下：

# 进入模型目录
# cd models/rank/deepfefm # 在任意目录均可运行
# 动态图训练
python -u ../../../tools/trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml 
# 动态图预测
python -u ../../../tools/infer.py -m config.yaml 

# 静态图训练
python -u ../../../tools/static_trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml 
# 静态图预测
python -u ../../../tools/static_infer.py -m config.yaml 

16.6. 模型组网¶

该模型是FM类模型的又一变种。模型架构如下：

模型的核心FEFM公式如下：

其中与FFM，FwFM模型的核心区别就是使用一个对称矩阵 Field pair matrix embeddings $W_{F(i),F(j)}$ 对不同field的关系进行建模。

16.6.1. 一阶项部分¶

一阶项部分类似于我们rank下的logistic_regression模型。主要由embedding层和reduce_sum层组成。首先介绍Embedding层的搭建方式：Embedding层的输入是feat_idx，shape由超参的sparse_feature_number定义。各个稀疏的输入通过Embedding层后，进行reshape操作，方便和连续值进行结合。将离散数据通过embedding查表得到的值，与连续数据的输入进行相乘再累加的操作，合为一个一阶项的整体。用公式表示如下：

16.6.2. 二阶项部分¶

二阶项部分主要实现了公式中的交叉项部分，也就是特征的组合部分。

16.6.3. DNN部分¶

相比fm模型，我们去除了fm模型中的偏移量，而加入了dnn部分作为特征间的高阶组合，通过并行的方式组合fm和dnn两种方法，两者共用底层的embedding数据。dnn部分的主要组成为三个全连接层，每层FC的输出维度都为1024，每层FC都后接一个relu激活函数，每层FC的初始化方式为符合正态分布的随机初始化，每层FC都加入L2正则化。最后接了一层输出维度为1的fc层，方便与fm部分综合计算预测值。

16.6.4. Loss及Auc计算¶

预测的结果将FM的一阶项部分，二阶项部分以及dnn部分相加，再通过激活函数sigmoid给出，为了得到每条样本分属于正负样本的概率，我们将预测结果和1-predict合并起来得到predict_2d，以便接下来计算auc。
每条样本的损失为负对数损失值，label的数据类型将转化为float输入。
该batch的损失avg_cost是各条样本的损失之和
我们同时还会计算预测的auc指标。

16.7. 效果复现¶

为了方便使用者能够快速的跑通每一个模型，我们在每个模型下都提供了样例数据。如果需要复现readme中的效果,请按如下步骤依次操作即可。在全量数据下模型的指标如下：| 模型 | auc | batch_size | epoch_num| Time of each epoch | | :——| :—— | :—— | :——| :—— | | deepfefm | 0.8028 | 5120 | 1 | 约4.5小时 |

确认您当前所在目录为PaddleRec/models/rank/deepfefm
进入paddlerec/datasets/criteo目录下，执行该脚本，会从国内源的服务器上下载我们预处理完成的criteo全量数据集，并解压到指定文件夹。

cd ../../../datasets/criteo
sh run.sh

cd - # 切回模型目录
# 动态图训练
python -u ../../../tools/trainer.py -m config_bigdata.yaml # 全量数据运行config_bigdata.yaml 
python -u ../../../tools/infer.py -m config_bigdata.yaml # 全量数据运行config_bigdata.yaml 

预训练模型您也可以下载我们的预训练模型进行体验。

链接: https://pan.baidu.com/s/1CftnEt0nl1V6w6ApDzqkKA 提取码: dyvf