港科大综述「参数内记忆」:让 LLM 把后训练知识写进权重而非上下文
HKUST · hf · 2026-10-07
港科大团队发布综述,系统梳理 LLM 的「参数内记忆增强」方法:将领域事实、用户偏好、文档、交互经验等后训练知识,以参数、adapter 等形式存入模型,在推理时组合进前向传播。
动机:上下文学习(ICL)灵活但消耗上下文容量,且离散化编码成本随上下文长度增长;参数内记忆是可复用的互补载体。
分类框架(两条正交轴):
- 参数放置位置:Embedding、Attention、FFN 层,或混合使用(Hybrid)。
- 参数获取时机:部署中在线获取(online)vs 部署前离线获取(offline)。
综述还讨论了与 ICL 协同设计、干扰、安全以及递归自我改进等开放方向。
所属事件:港科大综述梳理 LLM 参数内记忆增强方法(2 条相关)→
「研究」频道最新
- 研究：12 个 LLM Agent 集体偏心 Booking.com,信源可压过商品质量 — rohanpaul_ai · 2026-10-07
- Menlo Research 开源 Asimov 1 人形机器人步态策略与训练代码 — freelerobot · 2026-10-07
- Arm 推出 ALeWM:自适应前缀长度的 JEPA 世界模型 — Arm · 2026-10-07
- 微软开源 MiniCorp:用办公室模拟器造企业级智能体数据 — microsoft · 2026-10-07
- NVIDIA NeMo-DCR:万亿参数 RL 权重同步提速 12-40 倍 — nvidia · 2026-10-07
- HLA 混合线性注意力:LongBench-V2 最高提升 5.57 分 — Monash · 2026-10-07