HiRank 用有效秩缩放统一行为序列建模与特征交互，服务多场景推荐排序

_reachsumit · x · 2026-10-28

论文针对大规模工业排序模型需在严格在线服务约束下同时捕捉异构特征交互、长期用户行为与多场景依赖的问题，提出 HiRank 统一框架。现有架构通常用独立模块处理序列与非序列特征，限制双向信息交换；对所有语义 token 直接套同构自注意力在序列与非序列信号有效秩不同时也低效，共享表示还可能忽略场景特有模式并引发负迁移。

HiRank 在统一骨干中结合门控序列注意力与异构特征交互，实现序列与非序列表示的双向融合；再用场景感知聚合把异构低阶 token 压缩成紧凑表示，并通过各场景独立学习的投影生成场景感知复合 token，支持更有效的高阶自注意力。