11. word2vec (Distributed Representations of Words and Phrases and their Compositionality)¶

代码请参考：word2vec如果我们的代码对您有用，还请点个star啊~

11.1. 内容¶

模型简介
数据准备
运行环境
快速开始
模型组网
效果复现
进阶使用
FAQ

11.2. 模型简介¶

本例实现了skip-gram模式的word2vector模型，如下图所示：

以每一个词为中心词X，然后在窗口内和临近的词Y组成样本对（X,Y）用于网络训练。在实际训练过程中还会根据自定义的负采样率生成负样本来加强训练的效果具体的训练思路如下：

推荐用户参考 IPython Notebook demo教程获取更详细的信息。

11.3. 数据准备¶

在模型目录的data目录下为您准备了快速运行的示例数据，训练数据、测试数据、词表文件依次保存在data/train, data/test, data/dict文件夹中。若需要使用全量数据可以参考下方效果复现部分。数据的格式如下：

45 8 71 53 83 58 71 28 46 3
59 68 5 82 0 81
61

词表的格式如下：

and 6
all 48
because 64
just 72
per 63
when 59
is 9
year 43
some 55
it 20

11.4. 运行环境¶

PaddlePaddle>=2.0

python 2.7/3.5/3.6/3.7

os : windows/linux/macos

11.5. 快速开始¶

本文提供了样例数据可以供您快速体验，在任意目录下均可执行。在word2vec模型目录的快速执行命令如下：

# 进入模型目录
# cd models/recall/word2vec # 在任意目录均可运行
# 动态图训练
python -u ../../../tools/trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml 
# 动态图预测
python -u infer.py -m config.yaml 

# 静态图训练
python -u ../../../tools/static_trainer.py -m config.yaml # 全量数据运行config_bigdata.yaml 
# 静态图预测
python -u static_infer.py -m config.yaml 

11.6. 模型组网¶

我们通过词类比（Word Analogy）任务来检验word2vec模型的训练效果。输入四个词A，B，C，D，假设存在一种关系relation, 使得relation(A, B) = relation(C， D)，然后通过A，B，C去预测D，emb(D) = emb(B) - emb(A) + emb(C)。细节见上面模型简介部分

11.6.1. 效果复现¶

为了方便使用者能够快速的跑通每一个模型，我们在每个模型下都提供了样例数据。如果需要复现readme中的效果,请按如下步骤依次操作即可。在全量数据下模型的指标如下： | 模型 | acc | batch_size | epoch_num| Time of each epoch | | :——| :—— | :—— | :——| :—— | | word2vec | 0.579 | 100 | 5 | – |

确认您当前所在目录为PaddleRec/models/recall/word2vec
进入paddlerec/datasets/one_billion目录下，执行该脚本，会从国内源的服务器上下载我们预处理完成的criteo全量数据集，并解压到指定文件夹。

cd ../../../datasets/one_billion
sh run.sh

cd - # 切回模型目录
# 动态图训练
python -u ../../../tools/trainer.py -m config_bigdata.yaml # 全量数据运行config_bigdata.yaml 
python -u infer.py -m config_bigdata.yaml # 全量数据运行config_bigdata.yaml 