TTR-Compressor 用测试时回归取代池化,闭式解压缩序列保检索精度
SphereLab · hf · 2026-10-23
港中文与阿里 Token Foundry 团队提出 Test-time Regression(TTR)序列压缩方法,作为 pooling 与固定投影之外的新范式:对所有 token 联合拟合、闭式求解,保留更多可交互信息。应用上,块级稀疏注意力的检索精度从 pooling 基线约 29.71 提升至 50.92–51.44;视觉 token 合并场景下多模态理解得分普遍高于 MLP 合并方案。该方法为高效语言与多模态模型提供了可学习的通用序列压缩手段,代码开源于 spherelab.ai/ttr-compressor。
「Infra」频道最新
- TokenGate 端到端学习动态丢 token,解锁 LLM 预填充新优化方向 — CShorten30 · 2026-10-23
- 1260 亿美元能干嘛?沿加州高铁全线铺满百元美钞还剩 90 亿 — john__allard · 2026-10-23
- Dragonfly 向 CFTC 提交算力衍生品评论信，推动算力对冲市场标准化 — AccBalanced · 2026-10-23
- Liquid Inference 上线算力预订:1-12 个月锁价买 token,供应商实时竞标 — AccBalanced · 2026-10-23
- MiniMax H3 视频生成登陆日本 ai& 平台，最低每秒 $0.0125 — DavidBennett__ · 2026-10-23
- Liquid Inference 推理网络两周扩至 50 家供应商,全量报价前沿开源权重模型 — AccBalanced · 2026-10-23