Luning Wang

Luning Wang

特征交叉——论文精读笔记合集

less than 1 minute read

Published:

特征交叉（Feature Crossing）是精排模型的核心部件之一，其通过实现不同特征之间的高阶交叉来捕捉复杂的用户兴趣模式，已有多年的研究历史。随着LLM领域对于scaling law等验证，特征交叉领域近年来也出现了一些致力于实现模型scaling的工作。相比于生成式精排强调范式由判别式到生成式的转变，这部分工作仍保持了传统精排模型的判别式目标，同时通过设计更好的模型架构等方式来成功扩大模型规模到大模型量级，证明在传统判别式范式下仍然能够吃到scaling的红利。

本部分将持续更新特征交叉相关工作的精读笔记：

You May Also Enjoy

统一序列建模与特征交叉——论文精读笔记合集

less than 1 minute read

Published:

在以往的精排系统中，序列建模（对于用户历史序列的处理）和特征交叉模块通常是分开的：序列建模是将用户历史序列处理成目标物品感知的表征，例如使用DIN、DIEN、SIM、Longer等来通过target attention思想提取序列中的重要信息；特征交叉是学习非序列特征（如用户画像特征、目标物品特征、上下文特征等）和历史序列特征之间的高阶交叉，例如使用FM、WuKong、RankMixer等进行特征交叉。这种“先建模历史序列再将建模后的序列和其他非序列特征进行交互“的两阶段范式在表征能力、优化难度和系统效率上都有不足。因此，OneTrans等工作希望通过一个单一的模型来统一进行序列建模和特征交叉，从而打破序列特征和非序列特征在模型结构上的隔离。

生成式召回——论文精读笔记合集

less than 1 minute read

Published:

生成式召回（Generative Retrieval）指的是利用生成式模型直接“预测/生成”用户可能感兴趣的候选项，而不是依赖传统的向量检索或基于特征匹配的召回机制。

生成式排序——论文精读笔记合集

less than 1 minute read

Published:

生成式排序（Generative Ranking）是一类借助生成式模型思想来解决排序问题的推荐策略，它通常在训练阶段采用“预测下一个行为”等生成式任务作为目标之一，结合传统的目标如CTR分数预测等，在训练阶段让模型学会预测“用户针对给定目标物品会有什么反应”。在推理阶段则本实际上还是一个分数预测器，本质上可以理解为利用Transformer架构建模用户历史并和目标物品做交叉，从而在深刻理解用户兴趣的情况下作出预测，和传统DLRM在推理阶段的表现其实差不多。

长序列建模——论文精读笔记合集

less than 1 minute read

Published:

长序列建模（Long-Sequence Modeling）旨在有效捕捉用户的长短期兴趣与行为演化模式，突破传统短序列方法对历史行为长度的限制。一般的推荐模型仅能建模长度为几百的用户行为序列，面对长度上万甚至数十万的长期行为序列时计算开销通常难以接受。长序列建模相关工作则通过各种策略在计算效率和用户兴趣捕捉精读之间达到平衡，从而能够处理长达数万的“用户终身行为序列”。