超长序列建模 —— SIM 精读笔记

文章链接：https://arxiv.org/pdf/2006.05639

机构：阿里

发布时间：2020

Copyright (c) Wang-Luning. All Rights Reserved.

SIM（Search-based Interest Model，2020）致力于建模超长的用户历史行为序列。其分为两个级连部分，首先从完整的长行为序列（>10000）中筛选出与当前候选目标相关的行为，去除序列中绝大部分噪声，然后再对筛选后的子行为序列（~100）进行深度学习建模，使用类似DIN的方法用attention模块来达成候选物品和历史物品的交互，最终抽象出来的表征用于预测CTR等指标。其参考了DIN中关于针对候选物品来选取序列中有用信息的思想，并设计了一种更高效的从用户行为序列中提取有用信息的方法。

具体而言，首先使用一个“通用搜索单元”（General Search Unit, GSU）来使用候选物品产生的query从原始的长行为序列中提取相关信息，从而过滤掉噪声，获得筛选后和候选物品强相关的子序列SBS（Sub user Behavior Sequence）。然后，使用“精确搜索单元”（Exact Search Unit, ESU）来建模候选物品和SBS之间的精确关系。

• GSU模块：

  该部分希望从原始长序列中找到top-k个相关的子行为。设原始输入序列为$B=[b_1,b_2,\cdots ,b_T]$$B=[b_1,b_2,\cdots,b_T]$，其中$b_i$$b_i$为第$i$$i$个历史行为，则GSU模块会对每个历史行为生成一个针对候选物品的相关性分数$r_i$$r_i$，并选取top-k个分数最相关的构成子序列$B^{\ast }$$B^*$。可以使用hard search或soft search这两种对于相关性分数的建模方式：

  • Hard search：

    $$r_i=Sign(C_i=C_a)$$

    直接选取和候选物品属于同一类别的物品作为相关物品。这里的$C_i,C_a$$C_i,C_a$分别指的是历史交互物品$b_i$$b_i$和候选物品所属的类别。这种做法是无参数的，其对于线上服务比较友好。

  • Soft search：

    $$r_i=(W_b{\mathbf{e}}_i)\cdot (W_a{\mathbf{e}}_a{)}^T$$

    将每个历史交互物品$b_t$$b_t$编码为one-hot向量后再转为低维embedding ${\mathbf{e}}_i$$\mathbf e_i$，从而得到原始序列的embedding表征$\mathbf{E}=[{\mathbf{e}}_1,\cdots ,{\mathbf{e}}_T]$$\mathbf E=[\mathbf e_1,\cdots,\mathbf e_T]$。同时候选物品也的embedding为${\mathbf{e}}_a$$\mathbf e_a$。使用可学习矩阵$W_b,W_a$$W_b,W_a$对二者变换后求内积即可得到各个历史物品和候选物品之间的关联度分数。

    这里的计算是一个MIPS（Maximum Inner Product Search）问题，给定候选物品向量（的变换结果），想要快速找到和它内积最大的那些历史物品向量，也即用内积表示相关性。它和最近邻搜索有相似之处，如果所有向量模长相等则等价于最近邻搜索。可以使用ALSH等方法高效搜索。

    

    在训练soft search部分时，由于直接使用短序列训练全模型得到的参数会误导长序列兴趣建模，因此这里基于长序列数据使用一个辅助CTR预测任务进行训练，如上图所示，产生的用户表征向量记为${\mathbf{U}}_r=\sum _{i=1}^T{r}_i{\mathbf{e}}_i$$\mathbf U_r=\sum_{i=1}^T r_i\mathbf e_i$。然后，将用户表征向量和候选物品embedding ${\mathbf{e}}_a$$\mathbf e_a$连接后送入一个MLP来预测CTR。

     

• ESU模块：

  得到top-k个相关历史物品构成的子序列$B^{\ast }$$B^*$后，进一步将其输入一个基于attention的模型来建模。

  由于这些历史行为之间的时间间隔大小不一，因此再引入一个时间间隔序列$\mathbf{D}=[{\mathrm{\Delta }}_1,\cdots ,{\mathrm{\Delta }}_K]$$\mathbf D=[\Delta_1,\cdots,\Delta_K]$，分别记录了K个最相关行为之间的时间间隔。然后将$B^{\ast }$$B^*$中的各个历史行为和$\mathbf{D}$$\mathbf D$中的各个时间间隔都编码为embedding：$\mathbf{E}=[{\mathbf{e}}_1^{\ast },\cdots ,{\mathbf{e}}_K^{\ast }]$$\mathbf E=[\mathbf e_1^*,\cdots,\mathbf e_K^*]$，${\mathbf{E}}_t=[{\mathbf{e}}_1^t,\cdots ,{\mathbf{e}}_K^t]$$\mathbf E_t=[\mathbf e_1^t,\cdots,\mathbf e_K^t]$，并把每个对应的${\mathbf{e}}_j^{\ast },{\mathbf{e}}_j^t$$\mathbf e_j^*,\mathbf e_j^t$连接起来，作为各个历史行为带有时间信息的最终表征${\mathbf{z}}_j=\text{concat}({\mathbf{e}}_j^{\ast },{\mathbf{e}}_j^t)$$\mathbf z_j=\text{concat}(\mathbf e_j^*,\mathbf e_j^t)$。

  然后再使用多头attention模块来捕捉候选物品和每个历史行为之间的注意力分数：

  $$\begin{array}{c}{\mathbf{att}}_{score}^i=\text{softmax}(W_{ai}{\mathbf{e}}_a\cdot W_{bi}{\mathbf{z}}_b)\\ {\mathbf{head}}_i={\mathbf{att}}_{score}^i{\mathbf{z}}_b\end{array}$$

  也即使用候选物品的embedding ${\mathbf{e}}_a$$\mathbf e_a$作为query，将SBS序列中的物品当做key, value，做$\text{softmax}(Q{K}^T)V$$\text{softmax}(QK^T)V$注意力计算，第$i$$i$个头的输出为${\mathbf{head}}_i$$\mathbf{head}_i$。最终，将所有head的结果连接起来就是候选物品感知的用户兴趣表征向量：${\mathbf{U}}_{lt}=\text{concat}({\mathbf{head}}_1,\cdots ,{\mathbf{head}}_q)$$\mathbf U_{lt}=\text{concat}(\mathbf{head}_1,\cdots,\mathbf{head}_q)$，并将其送入MLP做CTR预测。

  可见，其思路本质和DIN一致，使用候选物品对于历史序列中的相关物品做完attention后得到它和历史兴趣的相关性，抽象出来的用户历史表征即可拿来预测CTR。这种做法也被称为target attention。

   

GSU和ESU模块最终会在CELoss下进行联合训练（若采用hard search则去掉GSU项）：