特征交叉 —— WuKong 精读笔记

文章链接：https://arxiv.org/pdf/2403.02545

机构：Meta

发布时间：2024.09

参考文献：

• https://zhuanlan.zhihu.com/p/691813733

Copyright (c) Wang-Luning. All Rights Reserved.

WuKong推出了一种由多层FM层堆叠成的模型结构，可以实现将浅层FM的交叉结果送入深层FM进一步交叉，从而使得交叉阶数不断增大，有效捕获复杂的高阶特征交互能力，并展现出推荐系统中的scaling law。

将输入中稀疏/稠密特征通过embedding层，产生$n$$n$个维数为$d$$d$的dense embeddings $X_0\in {\mathbb{R}}^{n\times d}$$X_0\in\mathbb R^{n\times d}$，然后输入到由若干个Wukong block堆叠成的特征交互模型中，随着层数加深逐步捕捉到更高阶的交互。每个block中含有2个并行部分：

• FM层（FMB）：

  用于对本block的输入进行特征交互，多层FM堆叠可以使得交叉阶数上限越来越高，从而捕获高阶特征交互。

  具体而言，FMB是由一个FM和后边的一个MLP构成的。FM部分用于显式地对于本层输入的embeddings进行特征交叉（$\text{FM}(X)=X{X}^T$$\text{FM}(X)=XX^T$），其输出是一个2D的交互矩阵，每个元素代表两个embedding向量交叉的结果。然后，将这个交互矩阵打平、norm后输入MLP中，最后再reshape输出：

  $$\text{FMB}(X_i)=\text{reshape}(\text{MLP}(\text{LN}(\text{flatten}(\text{FM}(X_i)))))$$

• 线性压缩层（LCB）：

  简单地将本block的输入通过一个线性层进行线性压缩后输出，也即对于输入的embeddings进行线性组合。其不会进行特征交叉，因此也不会增大交叉阶数，但其可以确保第$i$$i$层能够捕获从$1$$1$到$2^i$$2^i$阶的交互

  $$\text{LCB}(X_i)=W_L{X}_i$$

然后将两部分的输出进行连接，再通过残差连接和norm后得到本block输出：

在这种设计下，第$i$$i$层的输出结果中可以包含阶数$1\sim 2^i$$1\sim 2^i$的特征交互。可以通过数学归纳法证明：设第$i$$i$层的输入包含阶数$1\sim 2^{i-1}$$1\sim 2^{i-1}$的交互（第$i=1$$i=1$层的输入没有交互，也即交互阶数为1，符合假设），而FM层在给定$o_1$$o_1$阶和$o_2$$o_2$阶的特征交互作为输入的情况下可以输出$(o_1+o_2)$$(o_1+o_2)$阶的交互结果，因此第$i$$i$层输出至少最高包含$2^{i-1}+2^{i-1}=2^i$$2^{i-1}+2^{i-1}=2^i$阶的交互结果。（多层FM堆叠可以使得将浅层FM交叉的结果再送入更深层FM做进一步交叉，从而使得交叉阶数不断增大）