新论文提出振荡器语言模型:用 Kuramoto 相位动力学做语言建模
burny_tech · x · 2026-10-17
BrainChip 的 Ali Kayam 发布论文,提出振荡器语言模型(OLM)——自回归语言模型的计算由学习到的 Kuramoto 振荡器系统中的相位交互完成,把序列模型从幅值编码扩展到相位编码。
关键发现
- 状态是 N-torus 上的一个点,唯一可学习参数是低秩耦合(精确 O(N) 三角分解)、频率偏移、token 注入映射和线性读出
- 相位动力学可在长时程可靠存储与检索符号(lag 20 时召回 99.7%),容量随振荡器数量而非参数量扩展
- 在 Tiny Shakespeare、enwik8、WikiText-2 的字符级/token 级建模中,同参数量下 OLM 一致优于幅值振荡基线(2.79 vs 3.78 bpc),但仍落后于门控 RNN
- 代价明显:N=1024 的模型比 cuDNN GRU 训练慢约 40 倍,非线性相位动力学无法并行扫描
作者将其定位为向模拟/神经形态计算的方向探索——计算由物理而非算术完成,但未在物理硬件上验证。
「研究」频道最新
- 新论文用竞争性神经元胞自动机演化出类生命自组织行为 — burny_tech · 2026-10-17
- Transformers 支持激活检查点卸载到 CPU，GPU 显存紧张者福音 — StasBekman · 2026-10-17
- S4VY 发布：任意 RGB 观测实现 4D 一致性物体分割 — realChrisChoy · 2026-10-17
- TF-MoDISco 优化版合并：提速 5-15 倍、内存省 2-3 倍 — anshulkundaje · 2026-10-17
- Apple 推出 RSI-Inference Bench：AI agent 能否自己优化推理系统 — SumitGup · 2026-10-17
- 中本聪当年弃用 NIST 种子是对是错？Claude 破解 P256 后再讨论 — StefanoGogioso · 2026-10-17