"HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction" 论文笔记

字节跳动推荐模型 Scaling 的工作 HyFormer，发表于 SIGIR 2026，设计全新的针对性优化架构同时完成序列建模和特征交叉，而不是直接将 Transformer 拿来用，实现了更好的优化和 Scaling

背景

传统推荐精排模型有两个非常重要的子模块，序列建模和特征交叉，这两个子模块一般先做序列建模学习用户兴趣表示, 再与非序列特征 concat 起来做特征交叉。OneTrans 试图用一个统一的 Transformer 来将这两个子模块统一起来，本文提出的 HyFormer 也是类似的思路, 都是希望实现精排序列建模与特征交叉的统一，但 HyFormer 在架构上进行了更深入的改进（下文的多序列建模部分有提到 MTGR 和 OneTrans 采用简单的序列合并会导致性能显著下降）

方法

Query Generation

输入特征的 Tokenization 沿用 RankMixer/OneTrans 策略，对于非序列特征有 Group-wise 和 Auto-split 两种 Token 化方式，这里选择的是前者

与现有工作不同的是，Hyformer 提出了 Global Tokens 用来当前序列特征和非序列特征中提取出全局信息，在后续链路中起到 Query 的作用。具体做法是先将所有非序列特征向量 $F_1,F_2,\dots ,F_M$ 与序列的 Mean Pooling 结果拼接，得到 Global Info，再通过 $N$ 个并行的轻量 FFN 将其投影为 $N$ 个 Global Tokens：

$$Q=[{\mathrm{FFN}}_1(\mathrm{Global}\mathrm{Info}),\dots ,{\mathrm{FFN}}_N(\mathrm{Global}\mathrm{Info})]\in {\mathbb{R}}^{N\times D}$$

这里的 $N$ 是超参，在 HyFormer 中 N 通常很小（实验中与其他非序列 Token 凑成总共 16 个），远小于 OneTrans 将所有 NS-tokens 都作为 Query 的做法，大量减小了 KV Cache 的计算开销

KV Encoding

在 Query Decoding 执行之前，长行为序列需要先被编码为逐层的 K/V 表示。HyFormer 在这里提供了三种灵活的策略，以适应不同场景的算力约束（所有策略最终都会产出同一套接口：$(K_l,V_l)$，用来给 Query Decoding 进行消费）：

• Full Transformer Encoding：最重但是最强的方式，直接在长序列上做完整的 Self-Attention，捕捉序列内部的细粒度交互。适合离线场景或对效果极度敏感的头部流量。

• LONGER-style Efficient Encoding：为适配在线推理，用一条极短的压缩序列（记为 $S_{\text{short}}$）作为 Query，对完整长序列做 Cross-Attention。复杂度从 $O(L_S^2)$ 降至 $O(L_H{L}_S)$（$L_H\ll L_S$），在保持大部分建模能力的同时大幅压缩计算量

• Decoder-style Lightweight Encoding：最轻量的版本，直接用 SwiGLU 等无 Attention 的前馈操作对序列做逐位变换，完全舍弃 Token 间交互，适合对延迟要求极端的场景

Query Decoding

有了 Query 和序列的 K/V 表示，Query Decoding 就是对长序列做一次标准的 Multi-Head Cross-Attention：

$${\tilde{Q}}_{(l)}=\mathrm{CrossAttn}(Q_{(l-1)},K_{(l)},V_{(l)})$$

这一层的输出 ${\tilde{Q}}_{(l)}$ 是被长序列更新过的 Global Tokens，携带了从用户行为历史中提取的与当前全局上下文相关的兴趣信号，从而让 HyFormer 实现上下文信息在每一层都能直接干预序列的理解

Query Boosting

如果说前面 Query Decoding 的作用是序列建模，那这里 Query Boosting 的作用就是特征交叉。前面 Query Decoding 通过将 Global Token 与用户行为序列的多层解码，让 Query 一定程度上实现 sequence-aware，但与非序列特征之间的特征交叉能力不足，所以这里先将两者拼接为一个统一的 Token 集合

$$Q=[{\tilde{Q}}_{(l)},F_1,\dots ,F_M]\in {\mathbb{R}}^{T\times D}$$

然后使用 RankMixer 的 Token Mixing 操作，让这些 Token 两两之间充分交换信息。具体而言，每个 Token 沿通道维度被切分成 $T$ 个子空间（这里子空间数与 Token 数量必须一致），同一子空间内的所有 Token 拼接后送入一个跨 Token 的 MLP，实现类似“所有 Token 在某个子空间内互相看一眼”的效果，最后再过一个 Per-Token FFN 做逐 Token 的语义精炼，并通过残差连接与输入相加，作为当前HyFormer Layer的输出

$${\tilde{Q}}_{\text{boost}}=Q+\mathrm{PerToken}\text{-}\mathrm{FFN}(\mathrm{TokenMixer}(Q))$$

Query Boosting 的输出一方面作为本层最终产物向上层传递，另一方面也成为下一层 Query Decoding 的新 Query，形成一个交替递进的闭环

Multi Sequence Modeling

工业场景下用户通常有多条异质行为序列（如搜索序列、短视频序列、商品序列），不同序列的特征空间和语义差异巨大。OneTrans 和 MTGR 的做法是将它们按时间戳或意图排序后拼接成一条长序列统一处理，但 HyFormer 的实验发现这种简单合并在实际业务中会导致约 1.2% GMV 的显著下降。

HyFormer 的解法延续了其用少量 Global Tokens 做信息路由的思路：每条序列分配至少一个专属的 Global Token，各自独立地对该序列做 Query Decoding。由于 Global Tokens 不要求序列间的特征维度对齐，每条序列可以用完全独立的稀疏特征空间（不同的 side information）进行编码，从根本上避免了合并序列时被迫对齐的语义折损。进入 Query Boosting 阶段后，不同序列的 Global Tokens 在同一个 Token Mixing 池子里互相交互，间接完成跨序列的信息融合。这种“各序列独立解码 + 统一混合池交互”的设计，让模型既能保留各序列的建模独立性，又能实现隐式的跨序列知识迁移

实验

可以看到 HyFormer 在同等程度的参数量下大大减小了 FLOPs，同时取得了最高的 AUC

与最佳基线 LONGER + RankMixer 相比，Scaling 表现领先很多，线上也取得了很明显的收益

总结

HyFormer 用 一个交替结构、三个组件（Query Generation / Query Decoding / Query Boosting）重新定义了精排模型中序列建模与特征交互的分工：不再是两个模块串行拼接，而是让它们在同一 Backbone 内交替迭代、互相增强。实验证明 HyFormer 在效果上实现了更优的 Scaling 斜率，在效率上避开了超大候选集下的 KV Cache 膨胀问题（但是论文中没有跟 OneTrans 进行 Scaling 上的直接对比）