基于元胞自动机的小模型 MICA 更新:下一词 top-1 从 15.25% 升至 21.5%
Silver_Employ2617 · reddit · 2026-10-12
作者开源了 MICA——一个用「学习型整数元胞自动机」而非 transformer/神经网络的语言模型实验项目,探索局部整数重写规则能否学出有用的语言行为。
架构:768 格元胞环、112 个整数通道、16 相学习局部规则、240 个读出探针。两个在研版本:
Flame-W 0.3.6(词级)
- 新增前词库与短语复制机制
- 长文本预测损失从 8.074 降至 7.724 bits/词
- Tiny Theory-of-Mind 准确率 33.20%(2000 例),较上版提升不显著
- 句子生成仍不稳定
Ember 0.3.7(字节级核心+词级辅助,词表 32768)
- 下一词 top-1:15.25%→21.50%;双字母补全:54.50%→63.75%;top-5:34.75%→43.25%
下一步计划在 Raspberry Pi 上评估其在严格内存/CPU 约束下的表现(尚无实测数据),并公开征集 CPU-only 基线、评估指标(延迟/能耗/固定内存下精度)与 ARM 设备建议。项目以非商业许可公开。
「研究」频道最新
- 众包用 E8 几何降大数乘法常数 κ,再度撞墙求几何专家 — iskander · 2026-10-12
- HF 工程师详解决策模型新玩法:把分类决策变成答案 token — LysandreJik · 2026-10-12
- Sandberg：论文该被当成待打补丁的软件项目来对待 — anderssandberg · 2026-10-12
- Anders Sandberg：AI 审稿将倒逼科研进入超严格时代 — anderssandberg · 2026-10-12
- Claude Opus 5.5 max 能力指数 167.3,贴着 AI Futures 预测曲线上行 — SamuelAlbanie · 2026-10-12
- 独立研究者单块 GH200 预训练 21B MoE：MFU 从 21% 提到 50% — Prestigious-Taste-63 · 2026-10-12