多预算训练让检索模型压缩更通用
antoine_chaffin · x · 2026-07-07
作者在每步训练中以多种压缩预算([4,8,16,32,64,128,300])训练模型,而非只针对单一预算。这种多预算策略让模型在任意压缩级别下都更易被池化;但若已知部署目标,专门针对 r=32 训练可在同等 λ 下多保留 1.6% 信息(达 97.4%,多预算为 95.8%),且不损失全 token 质量。
所属事件:hpool实现灵活自适应的检索模型压缩(5 条相关)→
「研究」频道最新
- 可编程元胞自动机 PCA：让每条规则变成可读代码 — Amidos2006 · 2026-09-11
- GEVIBench 发布:系统对比各类电压指示器的综合基准 — drmichaellevin · 2026-09-11
- 高斯混合建模光传输方程,INRIA 新方法加速全局光照求解 — ssh4net · 2026-09-11
- P vs NP 恐难被 AI 攻破，fortnow 点名 NP vs L 等更可行难题 — fortnow · 2026-09-11
- MaP-WAM 用记忆驱动规划攻克非马尔可夫机器人操作难题 — Sizhe Zhao · 2026-09-11
- 负向自蒸馏：让模型靠避开错误推理学会更好的推理 — Rongcan Pei · 2026-09-11