统一序列建模与特征交叉 —— HyFormer 精读笔记

文章链接：https://arxiv.org/pdf/2601.12681

机构：字节

发布时间：2026.01

Copyright (c) Wang-Luning. All Rights Reserved.

HyFormer要解决的问题和OneTrans一样，其认为“先建模历史序列再将建模后的序列和其他非序列特征进行交互“这种两阶段的范式在表征能力和效率上都有不足，本质上是一种late-fusion、单向交互的模式（如：先将长用户历史序列使用如LONGER等query-based压缩器来进行信息压缩，然后再将带有压缩的序列信息的query通过特征交互模块如RankMixer进行和其他非序列特征的交互）。因此，其也致力于使用一个统一的类transformer模型来紧密地集成长序列建模和特征交叉，而不是把它们看成松散的分开的模块。

与OneTrans将序列tokens和非序列tokens汇总为一个统一序列不同，HyFormer逐层交替地进行Query Decoding和Query Boosting过程，前者用前层交叉更新后的表征实时生成当前层的Global tokens（初始层的是由非序列特征+序列信息meanpool汇总后产生的），作为Query来对历史序列产生的KV做attention，从而使得Query随着层数变深而语义愈发丰富，再进一步塑造序列表征，后者则通过token mixing来实现提取的序列信息和非序列特征的深度交互。可见，其并不是像LONGER等类target attention的方法那样一次性地用global信息作为query来提取历史序列信息，并用于后续的特征交互，而是在每层中都不断地重复在当前层生成Global tokens、提取序列信息、进行特征交叉的过程，从而使得序列建模和特征交叉部分存在双向的互动，逐步使得语义表征随着层数加深而变得更丰富。

设用户$u$$u$的历史交互序列为$S=[i_1^{(u)},\cdots ,i_K^{(u)}]$$S=[i_1^{(u)},\cdots, i_K^{(u)}]$，设该用户的非序列特征集合为$u$$u$（如用户画像属性、语境信号、交叉特征等），设目标候选物品为$v$$v$，则目标为预测该物品被互动的概率分数：$P(y=1|S,u,v)\in [0,1]$$P(y=1|S,u,v)\in[0,1]$。目标函数使用BCELoss。

在每个block中，主要可以分为Query generation、Query decoding、Query boosting三个部分：

• Query Generation：

  在第一层中，类似RankMixer的方式将历史序列信息根据语义来分组并生成对应的sequence tokens $Seq$$Seq$。对于$M$$M$个非序列特征向量$F_1,\cdots ,F_M\in {\mathbb{R}}^{1\times D}$$F_1,\cdots,F_M\in\mathbb R^{1\times D}$，将它们连接起来后，再与序列信息做meanpool后生成的“全局序列信息”做连接，从而得到全局信息表征，用于做序列建模target attention的query：

  $$\text{Global Info}=\text{Concat}(F_1,\cdots ,F_M,\text{Meanpool}(Seq))$$

  想用全局信息生成$N$$N$个Global tokens，则使用$N$$N$个FFN将全局信息表征分别映射成$N$$N$个tokens，这些tokens在下一层对序列做attention时被用作query：

  $$Q_1=[{\text{FFN}}_1(\text{Global Info}),\cdots ,{\text{FFN}}_N(\text{Global Info})]\in {\mathbb{R}}^{N\times D}$$

  在后续的层中，如上图所示，Global tokens（queries）不再是像第一层通过MLPs对于特征直接变换生成，而是用上一层的输出作为global tokens（也即上一层的global tokens对历史序列做了attention并经过token mixing更新后的表征），可见后续每一层的queries $Q_l$$Q_l$都是全局信息在之前层和历史序列进行深度交叉后的结果，其更新一定程度上受到了历史序列信息的影响，具有更丰富的语义信息。

• Query Decoding：

  该步首先需要将历史序列信息转化成该层$l$$l$的KV，用于和作为Query的该层$l$$l$的Global tokens进行attention。设历史序列信息在该层编码后的表征为$H_l$$H_l$，其可以进一步用于生成该层的KV：

  $$K_l=H_l{W}_l^K,V_l=H_l{W}_l^V$$

  编码历史序列信息生成表征$H_l$$H_l$的方式有若干种选择，可以考虑不同场景约束下的需求：

  • 全transformer编码：若资源充足且追求细粒度的信息捕捉，可以使用一个标准的transformer encoder来处理历史序列：

    $$H_l={\text{TransformerEnc}}_l(S)$$

  • LONGER风格的压缩编码：若序列过长且想提升编码效率，则可以使用LONGER风格的策略，使用最近的一部分历史序列作为query，通过交叉注意力来对完整历史序列进行压缩得到其表征：

    $$H_l=\text{CrossAttn}(S_{short},S,S)$$

  • 不用attention的轻量编码：若场景对于latency敏感，则可以使用attention-free的方法，直接拿MLP转化历史序列为其表征：

    $$H_l={\text{SwiGLU}}_l(S)$$

  生成该层的$K_l,V_l$$K_l,V_l$后，即可和Global tokens $Q_l$$Q_l$做交叉注意力：

  $${\tilde{Q}}_l=\text{CrossAttn}(Q_l,K_l,V_l)\in {\mathbb{R}}^{N\times D}$$

  由此得到提取了历史序列信息的Global tokens表征${\tilde{Q}}_l$$\tilde Q_l$，它被用于进一步和各个非序列特征做深度特征交叉。

• Query Boosting：

  该部分显式地实现不同特征的交叉融合，从而进一步给Global tokens注入交叉特征的额外信息。其通过RankMixer中的token mixing和PFFN来实现特征交叉和处理。

  首先将上一步生成的${\tilde{Q}}_l\in {\mathbb{R}}^{N\times D}$$\tilde Q_l\in\mathbb R^{N\times D}$和$M$$M$个特征的向量$F_1,\cdots ,F_M$$F_1,\cdots,F_M$连成一个统一序列$Q$$Q$：

  $$\begin{array}{c}Q=[{\tilde{Q}}_l,F_1,\cdots ,F_M]\in {\mathbb{R}}^{T\times D}\\ T=N+M\end{array}$$

  然后，使用一个MLP-Mixer模块对这个统一序列$Q$$Q$进行token mixing。将$Q$$Q$中的每个token $q_t\in Q$$q_t\in Q$切成$B=T$$B=T$段（为了使得mixing前后序列长度不变。下边也统一把段数写为$T$$T$）：

  $$q_t=[q_t^{(1)}||\cdots ||q_t^{(T)}],q^{(h)}\in {\mathbb{R}}^{D/T}$$

  然后再将每个token的同一段连接起来，得到一个新的token，如对于第$h$$h$段：

  $${\tilde{q}}_h=\text{Concat}(q_1^{(h)},\cdots ,q_T^{(h)})\in {\mathbb{R}}^D$$

  然后再将这些混合的tokens组成一个新序列，也即token mixing后的表征$\hat{Q}$$\hat Q$：

  $$\hat{Q}=[{\tilde{q}}_1,{\tilde{q}}_2,\cdots ,{\tilde{q}}_T]$$

  进一步再使用一个Per-token FFN来对每个token进行独立的变换：

  $$\stackrel{\sim }{Q}=\text{Per-token-FFN}(\hat{Q})$$

  最终，进行残差连接后即可得到特征交叉后的输出结果：

  $$Q_{boost}=Q+\stackrel{\sim }{Q}$$

  这个输出会被送入下一个block作为Global tokens，进行下一轮的历史序列信息提取和特征交叉。

  最后一层的输出会被送入下游任务的MLP输出预测分数。

另外，在实际场景中，用户行为通常被组织为多个异质的历史序列，例如一个视频观看序列、一个物品购买序列。像MTGR或OneTrans那样简单地将序列融合到一起会对效果产生比较差的影响，因此HyFormer中面对多序列时对它们单独进行处理，也即每个序列会独享自己的Q/K/V等。