推荐大模型——论文精读笔记合集

千亿参数级别的大模型已在NLP和CV领域验证了有效性，而大多数推荐系统仍停留在小模型多级漏斗范式下，其收益正在明显见顶。因此，一些研究试图将大模型领域的成功经验迁移到推荐系统中，从而构建更高效和智能的下一代推荐系统。其中，以TIGER、OneRec等为代表的工作借鉴了大模型的自回归生成范式，将推荐系统的工作逻辑由“判定候选物品的分数”升级为“直接生成下一个要推荐的物品”，从而实现了生成式召回，生成式排序，甚至端到端的生成式推荐系统。另外，RankMixer、OneTrans等工作则重点尝试将大模型的scaling law迁移到传统推荐范式下，从而优化特征交叉、序列建模等精排组件，并进一步探索在大参数模型下统一特征交叉与序列建模等可能。

目录

• 生成式召回
• 生成式排序
• 端到端生成式推荐
• 特征交叉
• 长序列建模
• 统一序列建模与特征交叉

生成式召回

生成式召回（Generative Retrieval）指的是利用生成式模型直接“预测/生成”用户可能感兴趣的候选项，而不是依赖传统的向量检索或基于特征匹配的召回机制。

本部分将持续更新生成式召回相关工作的精读笔记：

• 生成式召回 —— SASRec 精读笔记（2018）
• 生成式召回 —— Google TIGER 精读笔记（2023）
• 生成式召回 —— 百度 COBRA 精读笔记（2025.03）

生成式排序

生成式排序（Generative Ranking）是一类借助生成式模型思想来解决排序问题的推荐策略，它通常在训练阶段采用“预测下一个行为”等生成式任务作为目标之一，结合传统的目标如CTR分数预测等，在训练阶段让模型学会预测“用户针对给定目标物品会有什么反应”。在推理阶段则本实际上还是一个分数预测器，本质上可以理解为利用Transformer架构建模用户历史并和目标物品做交叉，从而在深刻理解用户兴趣的情况下作出预测，和传统DLRM在推理阶段的表现其实差不多。

本部分将持续更新生成式排序相关工作的精读笔记：

• 生成式排序 —— Meta HSTU 精读笔记（2024.02）
• 生成式排序 —— 字节 HLLM 精读笔记 (2024.09)
• 生成式排序 —— 小红书 GenRank 精读笔记（2025.05）
• 生成式排序 —— 美团 MTGR 精读笔记（2025.05）

注：本部分主要关注的是在范式上将判别式打分任务转化为生成式范式（主要在训练阶段）的工作，如HSTU中将“预测target item的得分”重构为“预测target item的下一个action”。

端到端生成式推荐

端到端生成式推荐（End-to-End Generative Recommendation）试图将召回、排序甚至重排统一为一个整体生成过程。该范式不再显式区分多阶段 pipeline，而是通过统一的序列建模与端到端训练目标，让模型在一个框架内同时学习候选选择与排序决策，从而减少阶段割裂带来的误差传递问题，并为大规模预训练与 Scaling 提供更自然的技术路径。

本部分将持续更新端到端生成式推荐相关工作的精读笔记：

• 端到端生成式推荐 —— 快手 OneRec 精读笔记（2025.02）
• 端到端生成式推荐 —— 快手 OneRec Technical Report 精读笔记（2025.06）
• 端到端生成式推荐 —— 快手 OneRec-V2 精读笔记（2025.08）
• 端到端生成式推荐 —— 快手 OneRec-Think 精读笔记（2025.10）

特征交叉

特征交叉（Feature Crossing）是精排模型的核心部件之一，其通过实现不同特征之间的高阶交叉来捕捉复杂的用户兴趣模式，已有多年的研究历史。随着LLM领域对于scaling law等验证，特征交叉领域近年来也出现了一些致力于实现模型scaling的工作。相比于生成式精排强调范式由判别式到生成式的转变，这部分工作仍保持了传统精排模型的判别式目标，同时通过设计更好的模型架构等方式来成功扩大模型规模到大模型量级，证明在传统判别式范式下仍然能够吃到scaling的红利。

本部分将持续更新特征交叉相关工作的精读笔记：

• 特征交叉 —— Meta WuKong 精读笔记（2024.03）
• 特征交叉 —— 字节 RankMixer 精读笔记（2025.07）
• 特征交叉 —— 字节 TokenMixer-Large 精读笔记（2026.02）

长序列建模

长序列建模（Long-Sequence Modeling）旨在有效捕捉用户的长短期兴趣与行为演化模式，突破传统短序列方法对历史行为长度的限制。一般的推荐模型仅能建模长度为几百的用户行为序列，面对长度上万甚至数十万的长期行为序列时计算开销通常难以接受。长序列建模相关工作则通过各种策略在计算效率和用户兴趣捕捉精读之间达到平衡，从而能够处理长达数万的“用户终身行为序列”。

本部分将持续更新长序列建模相关工作的精读笔记：

• 超长序列建模 —— 阿里 SIM 精读笔记（2020）
• 超长序列建模 —— 字节 LONGER 精读笔记（2025.05）
• 超长序列建模 —— 字节 STCA 精读笔记 (2026.01)
• 超长序列建模 —— 快手 GEMs 精读笔记（2026.02）

统一序列建模与特征交叉

在以往的精排系统中，序列建模（对于用户历史序列的处理）和特征交叉模块通常是分开的：序列建模是将用户历史序列处理成目标物品感知的表征，例如使用DIN、DIEN、SIM、Longer等来通过target attention思想提取序列中的重要信息；特征交叉是学习非序列特征（如用户画像特征、目标物品特征、上下文特征等）和历史序列特征之间的高阶交叉，例如使用FM、WuKong、RankMixer等进行特征交叉。这种“先建模历史序列再将建模后的序列和其他非序列特征进行交互“的两阶段范式在表征能力、优化难度和系统效率上都有不足。因此，OneTrans等工作希望通过一个单一的模型来统一进行序列建模和特征交叉，从而打破序列特征和非序列特征在模型结构上的隔离。

本部分将持续更新统一序列建模与特征交叉相关工作的精读笔记：

• 统一序列建模与特征交叉 —— 字节 OneTrans 精读笔记（2025.10）
• 统一序列建模与特征交叉 —— 字节 HyFormer 精读笔记（2026.01）
• 统一序列建模与特征交叉 —— 字节 MixFormer 精读笔记（2026.02）