NeurIPS 论文:仅前向传播实现 LLM 推理中自适应,内存更低提速更快
机器之心 · wechat · 2026-11-20
瑞典隆德大学与 Google DeepMind 团队在 NeurIPS 2026 发表论文,提出一种仅依赖前向传播的 LLM 自适应方法:利用激活值角度集中度来衡量权重矩阵 SVD 各分量的贡献,据此进行降秩裁剪,无需反向传播。
方法分三步:对权重矩阵做 SVD 分解、前向传播中计算各分量激活的角度集中度、据此选出离散度最高的权重矩阵做降秩。相比基于梯度的 LASER-Grad 与穷举搜索的 LASER,该方法峰值内存更低、加速比更高,且精度相当。实验覆盖知识推理、幻觉检测、事实验证等多类任务,并在 GPT-J、LLaMA2、DeepSeek V1、Mistral、Qwen2(含 MoE 版本)及最高 570 亿参数模型上验证了泛化能力;消融显示注意力模块的权重矩阵可忽略,进一步加快计算。
作者指出,由于完全摒弃反向传播且低内存、高加速,该方法有望在真实推理服务中实现在线实时适应:系统可利用用户交互数据在服务期间低成本地动态调整模型。论文:arxiv.org/abs/2611.10610。
「研究」频道最新
- ForgeSystem 论文提出按需定制软件的 AI 生产架构 — Div_pradeep · 2026-11-20
- Accord 开源:单相机加 IMU 实现在线稠密米制建图 — BE2R · 2026-11-20
- AltRA-Test:判断 LLM 能否替代人工标注只需约 100 条样本 — Technion · 2026-11-20
- TwinD 深度伪造检测泛化突破:AUROC 大幅领先现有检测器 — Andrii Yermakov · 2026-11-20
- 可视化单个人工神经元:加权求和加激活函数就这么点事 — TinfoilTricorn · 2026-11-20
- Astra 6.2 半小时内推翻组合几何猜想 Fish et al. 6.5 — IgorCarron · 2026-11-20