TextNCA：用神经细胞自动机做语言建模，性能不及同规模 Transformer
burny_tech · x · 2026-11-10
EMNLP 2026 Findings 论文 TextNCA 首次把视觉领域的神经细胞自动机（NCA）原则移植到语言建模。
- 架构：1D 因果模型中 token 位置充当「细胞」，窗口注意力提供局部感知，GRU 式门控做原地状态更新；层级变体级联逐渐加宽的注意力窗口 w∈{8,32,128}，每阶段参数共享迭代 Ts 次。
- 结果：约 30M 参数模型在 SlimPajama 训练 60k 步后，WikiText-103 上最佳 PPL 60.3，落后同规模 6 层 Transformer 的 52.8，因此定位为分析性探针而非性能替代品。
- 关键发现：打乱或压平窗口调度使 PPL 恶化 16.7–70.8，而不做迭代权重共享但保持分阶段的滑窗 Transformer 表现相当——窄到宽的调度才是主导因素，无可靠证据表明迭代权重共享在此规模下改善困惑度。
- 中间状态分析支持「先整理再解码」的解释：早期阶段重组表示，最后宽窗口阶段完成大部分下一 token 损失下降。
「研究」频道最新
- MSK 联合 Illumina AI 实验室发布人体 anellovirus 持续性调控研究 — SeyoneC · 2026-11-10
- 审稿人吐槽:NeurIPS 2026 拒稿几乎原样改投 ICLR 2027 再遭低分 — 3scorciav · 2026-11-10
- HARP-Bench:37 任务测机器人与人类协作，主流策略成功率仅 9-19% — gan_chuang · 2026-11-10
- 研究：VLA 推理仅跑 1 步 Euler 即可,提速 1.6-4.8 倍 — kaixhin · 2026-11-10
- Bengio 团队发布 182 页机械可解释性综述，登顶 alphaXiv 热榜 — burny_tech · 2026-11-10
- LLM 智能体群实验:reward-hacking 观念不会像病毒式指数传播 — burny_tech · 2026-11-10