超长序列建模 —— STCA 精读笔记

文章链接：https://arxiv.org/pdf/2511.06077

机构：字节（抖音）

发布时间：2025.11

Copyright (c) Wang-Luning. All Rights Reserved.

工业中普遍采用两阶段的策略来处理长用户历史序列：先筛选出一些和目标物品类似的历史交互物品，然后再在这个筛选后的短序列上进行建模。这样虽然高效，但难以实现端到端优化，可能丢失重要信息。

实验证明在推荐系统中通常序列越长效果越好，可以看成推荐领域的scaling law，因此如果想真正实现推荐大模型的scaling的话，长序列是不可或缺的部分

为了在低训练开销和推理开销下实现10000量级的用户历史序列建模，本文主要提出了3点优化：

• 提出SCTA（Stacked Target-to-History Cross Attention）模块来进行从目标物品到历史序列的target attention，使用交叉注意力替代历史序列内部的自注意力，从而将注意力复杂度从二次降低到线性。

• 提出RLB（Request Level Batching）策略来使得同一个用户的多个目标物品（甚至多次request）共享一套用户表征，使得用户表征只需要计算一次

• 采用长度外推训练策略，训练时平均长度2k，推理时外推到10k，从而避免长序列训练带来的开销

设长度为$L$$L$的用户历史序列为$\mathcal{H}=\{(v_i,a_i){\}}_{i=1}^L$$\mathcal H=\{(v_i,a_i)\}_{i=1}^L$，其中$v_j,a_j$$v_j,a_j$分别是第$j$$j$个视频的特征向量和交互行为类型。设$t$$t$为要被排序的目标视频。设$x_j\in {\mathbb{R}}^d$$x_j\in\mathbb R^d$为$(v_j,a_j)$$(v_j,a_j)$的embedding，$x_t\in {\mathbb{R}}^d$$x_t\in\mathbb R^d$为$t$$t$的embedding（包含了ID、多模态内容信息、作者信息等）。则给定输入的embedding序列$X=[x_1,\cdots ,x_L]$$X=[x_1,\cdots,x_L]$和目标物品的embedding$x_t$$x_t$，任务是输出一个预测打分值$\hat{y}\in [0,1]$$\hat y\in[0,1]$，这里选用完播率作为预测对象。

STCA：

在排序任务中，目标物品到各个历史行为的直接交互是最重要的，而历史行为序列中的各项之间的交互相对来说没那么重要。因此，为了避免注意力的二次复杂度，舍弃了显式的历史序列内部交互，只使用一个单query的从目标到历史的交叉注意力。

具体而言，设总共有$M$$M$层block。在第一层中，分别将历史embedding序列$X$$X$和目标物品的embedding $x_t$$x_t$通过一个SwiGLUFFN+LN层，分别用于为本层后续的交叉注意力产生KV张量和query向量：

进一步，通过该层的权重$W_K^{(1)},W_V^{(1)}$$W_K^{(1)},W_V^{(1)}$对于${\tilde{X}}^{(1)}$$\tilde X^{(1)}$做变换得到该层的K和V，然后再和由目标物品变换而来的query向量$q^{(1)}$$q^{(1)}$做交叉注意力，得到的QKV注意力计算结果。将每个头的注意力结果连接起来后再通过一个$W_O^{(1)}$$W_O^{(1)}$矩阵得到该层的“总结”输出$o^{(1)}\in {\mathbb{R}}^d$$o^{(1)}\in\mathbb R^d$，它代表了该层中目标物品和历史交互后的抽象结果。

在接下来的每层$i$$i$中，$\tilde{X}$$\tilde X$（用于产生KV）都是将原始的embedding序列$X$$X$输入对应层的SwiGLUFFN得到的，而$q^{(i)}$$q^{(i)}$则是由目标$x_t$$x_t$和之前各层总结输出$o^{(i)}$$o^{(i)}$连接后再通过一个可学习映射融合变换得到的（可见Q是随着层数变深会被不断更新）：

其中$||$$||$表示向量连接。然后再进行交叉注意力并得到该层总结输出$o^{(n)}$$o^{(n)}$，并相应地更新得到下一层的$q^{(i+1)}$$q^{(i+1)}$。

可见，在每一层中的query只有1个向量，这就使得注意力计算复杂度是$O(L)$$O(L)$，相当于decoding阶段的计算量

最终，最后一层输出的更新后的Q向量即为最终的信息交叉结果向量$z$$z$：

将这个交叉结果向量$z$$z$再和一些用户画像tokens $\{u_k{\}}_{k=1}^K$$\{u_k\}_{k=1}^K$和目标物品tokens（例如物品的多模态内容、创作者信息等）$\{c_l{\}}_{l=1}^C$$\{c_l\}_{l=1}^C$组成一个序列${\mathcal{X}}_{mix}$$\mathcal X_{mix}$，然后将其送入RankMixer模块获得最终预测输出：

Request Level Batching（RLB）：

在排序任务中通常需要给多个目标物品打分，如果一次次单独推理的话会导致长历史序列不断重复地从CPU传输到GPU，还要重复encode，造成了系统上的效率低下。

因此，可以按照用户来聚合一批样本，并复用用户侧的表征。也即，将同一个用户的历史序列$X$$X$转换成各层的输入表征${\tilde{X}}^{(i)}$$\tilde X^{(i)}$后，它可以服务于多个目标物品产生的$q$$q$，这样就不需要重复进行它的生成了。

短序列训练，长序列推理：

在Beta分布中采样训练长度，并截取数据集中最近的该长度的序列用于训练。