Conditional Program 压缩 LLM n-gram 查找表,存储省 75% 且保真度更高

dnotitia · hf · 2026-10-20

Dnotitia Inc. 与 KAIST 的论文提出 Conditional Program(CP),针对条件记忆(conditional memory)中嵌入表必须全量驻留的问题给出压缩表示。

核心思路:CP 不存储完整表,而是为每个输入所需的行通过共享 code 与局部 scale 重建,重建程序跨表共享,按需独立解码各行。这样在保留模型对任意输入的独立查表能力的同时,大幅压缩整表足迹。

结果:存储占用减少 75%,同时保真度有所提升。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →