Hutter 压缩赛成绩突进约 10%:用小型 Transformer 过拟合数据再算术编码
ricklamers · x · 2026-11-19
TacoCohen 引述 Hutter Prize 文本压缩近期取得约 10% 的突破性进展,称其为巨大趋势拐点。核心思路是对待压缩数据训练/过拟合一个小型 Transformer,模型对数据赋予高似然,算术编码据此给 token 分配更短码长;由于接收方不知道模型本身,权重也需压缩并计入码长,因此训练损失中包含权重压缩成本。Rick Lamers 评论认为「大规模群体在压缩上死磕」这种方向数据无限、奖励不可被 hack,还将持续产生红利。
「研究」频道最新
- Google 提出 GUARD:冻结基座模型让 Agent 自改 harness,准确率提 8.89 分 — omarsar0 · 2026-11-19
- Kezek 开源工具:把单声道双人对话拆成按说话人分轨的全双工数据 — manifestro · 2026-11-19
- Elie Bakouch 质疑:现有 benchmark 难以真正追踪 RSI 进展 — eliebakouch · 2026-11-19
- 自研 HybridApexW 优化器:比 torch.compile 基线快一倍 — omendUUde · 2026-11-19
- 桑迪亚实验室:电子指纹让 AI 仅用几十个样本预测高熵合金性能 — CurieuxExplorer · 2026-11-19
- FoodTruck Bench 榜单上线 Papers with Code:让 LLM 真金白银经营餐车 30 天 — NielsRogge · 2026-11-19