Conditional Program 压缩 LLM n-gram 查找表,存储省 75% 且保真度更高
dnotitia · hf · 2026-10-20
Dnotitia Inc. 与 KAIST 的论文提出 Conditional Program(CP),针对条件记忆(conditional memory)中嵌入表必须全量驻留的问题给出压缩表示。
核心思路:CP 不存储完整表,而是为每个输入所需的行通过共享 code 与局部 scale 重建,重建程序跨表共享,按需独立解码各行。这样在保留模型对任意输入的独立查表能力的同时,大幅压缩整表足迹。
结果:存储占用减少 75%,同时保真度有所提升。
「研究」频道最新
- 因果推断入门教程:用 DAG 引擎从数据生成过程分离相关与因果 — Nasereliver · 2026-10-20
- Google FireSat 卫星星座用 AI 从太空识别 5×5 米级早期野火 — GoogleAI · 2026-10-20
- CyberArena 发布:用攻防实战对抗评估 AI 智能体 — 2077AIDataFoundation · 2026-10-20
- 8GB 显存本地训 MOSS-Image LoRA:500 步即可,8000 步反而过拟合 — AcademiaSD · 2026-10-20
- PNAS 研究:AI 对话可促使 1.5 万人真实请愿捐款,态度与行为脱钩 — _FelixSimon_ · 2026-10-20
- Citrini 用 Claude 内部模型通宵设计蝎毒抗毒血清蛋白 — citrini · 2026-10-20