多预算训练让检索模型压缩更通用
antoine_chaffin · x · 2026-07-07
作者在每步训练中以多种压缩预算([4,8,16,32,64,128,300])训练模型,而非只针对单一预算。这种多预算策略让模型在任意压缩级别下都更易被池化;但若已知部署目标,专门针对 r=32 训练可在同等 λ 下多保留 1.6% 信息(达 97.4%,多预算为 95.8%),且不损失全 token 质量。
所属事件:hpool实现灵活自适应的检索模型压缩(5 条相关)→
「研究」频道最新
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27