COLM 2026接收多篇SSM与语言模型架构相关论文
realDanFu · x · 2026-07-17
研究团队宣布有 4 篇论文被 COLM 2026 接收，主要涉及高效语言模型与状态空间模型（SSM）的架构创新： - **Parcae: 稳定循环语言模型的缩放定律**：将层循环视为动态系统，从而构建出稳定的循环大语言模型，并在恒定内存下提供新的可预测缩放轴。 - **探究状态空间模型中的文档“Soupability”**：使用 Mamba2 分别编码文档，然后将其 SSM 状态平均融合成一锅“汤”。这种方法在极低推理成本下实现了更好的多文档问答，且可扩展至处理 256 个文档。 - **格式税**：关于格式化对模型性能影响的测量与缓解研究。
「研究」频道最新
- Agent Arena 发布 agent 评测因果追踪方法与完整榜单 — arena · 2026-07-21
- Coincidex 探索无回放持续学习 — theawkwardbong · 2026-07-21
- LLM每token能耗或已低于人脑 — jd_pressman · 2026-07-21
- 机器人RL用写实场景零样本迁移 — lukas_m_ziegler · 2026-07-21
- 用股价估算 AI 宏观影响的论文 — daveholtz · 2026-07-21
- 为什么单 Agent 往往够用 — UsedMorning9886 · 2026-07-21