Hutter 压缩赛成绩突进约 10%:用小型 Transformer 过拟合数据再算术编码

ricklamers · x · 2026-11-19

TacoCohen 引述 Hutter Prize 文本压缩近期取得约 10% 的突破性进展,称其为巨大趋势拐点。核心思路是对待压缩数据训练/过拟合一个小型 Transformer,模型对数据赋予高似然,算术编码据此给 token 分配更短码长;由于接收方不知道模型本身,权重也需压缩并计入码长,因此训练损失中包含权重压缩成本。Rick Lamers 评论认为「大规模群体在压缩上死磕」这种方向数据无限、奖励不可被 hack,还将持续产生红利。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →