ITPub博客

最近一年，搜推中的精排模型迭代逐渐走向大模型方向，通过参数scaling law、序列和特征交叉建模等方式，不断释放算力对搜推模型效果的提升。从统一视角看，这些方法有很多相似性。它们的底层围绕特征和序列token化展开，上层通过多层的Transformer或MLP以及一些从LLM迁移的优化手段提升模型复杂度，验证推荐系统中的scaling law。今天这篇文章，就给大家汇总一下2025年字节在精排模型结构优化的代表工作，以及这些工作之间背后的关联。

在大模型领域中，为了用参数量换取模型性能收益，一般会采用稀疏MoE的结构，通过多个专家网络的引入扩大模型参数量，同时每次强制激活少量专家尽量节省计算开销，实现了高效率的模型参数的scaling up。在时间序列领域，稀疏MoE的建模范式也是今年的研究重点。这篇文章给家汇总最近1年时间序列建模中采用的MoE建模方案。

无论是语言模型还是推荐大模型，用强化学习进行偏好对齐已经成为不可缺少的一步。今天这篇文章给大家梳理强化学习在大模型中的应用，首先介绍强化学习的核心思路和算法，接下来结合语言模型、推荐大模型中的具体工作介绍强化学习在大模型中的应用方法。

在之前的文章中，我们介绍了包括RankMixer、Longer、OneTrans等推荐模型Scaling的相关工作。最近半年，沿着这个思路业内又出现了一系列相关工作，这篇文章给大家做一个简要汇总，涵盖字节、腾讯、阿里等多个大厂的最新统一推荐模型建模方法。