字节 Seed 等提出 Falcon 家族：把循环模型记忆训练当在线学习
burkov · x · 2026-09-06
字节 Seed、普林斯顿、清华、UCLA 与 Hyperbolic 的研究者讨论长上下文 LLM 的核心权衡：Transformer 注意力能利用全部历史但序列增长时开销大，而循环模型只维护固定大小记忆，其更新规则本身就是一种在线学习。
论文主张：训练这类记忆时应使用预测目标时实际可得的表示，而非常见的同步骤配对。由此推出 Falcon 家族方法：
- 归一化记忆更新，显式控制学习速度与遗忘
- 可选择单 token 或短窗口进行每次更新
- 提供 chunk-parallel 实现，适配 GPU
实验显示在语言建模上有竞争力，且在更长算术序列外推上表现更好。
「研究」频道最新
- PyTorch 实测:批量从 1 加到 64,吞吐升 50 倍延迟仅增 24% — cneuralnetwork · 2026-10-23
- 计算设计的全新连接酶 30 个里 27 个实验有效,AI 酶设计落地 — AllThingsApx · 2026-10-23
- 网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名 — antoine_chaffin · 2026-10-23
- JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释 — hisspikeness · 2026-10-23
- Next-Concept Modeling 论文称分层概念码并行生成，速度最高达扩散 LLM 的 31 倍 — PanelReader · 2026-10-23
- 从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦 — Big_Effective_9605 · 2026-10-23