元胞自动机语言模型 MICA v0.3：64 词记忆让上下文利用率提升 30 倍
Silver_Employ2617 · reddit · 2026-10-04
开发者发布实验性语言模型 MICA v0.3——一个不含 Transformer/浮点网络的元胞自动机架构，靠学习到的整数重写规则更新环形整数单元。
主要更新：记忆模块
- 新模型 Flame-W（B-740，34 MB 自动机）加 674 KB 整数记忆模块，可回看最近 64 词，结合直接回忆与 16 通道关联表示；自动机本体冻结，仅拟合记忆读出。
- 8 词距离的上下文利用从约 0.0006 升至 0.0209/0.0407，首次真正用上了上下文；验证集预测损失从 5.309 降至 5.268 bits/word。
意外结果
- Tiny Theory-of-Mind 测试从 28.15% 提到 30.95%，超过 36 个上榜模型中的 6 个。
- 但盲测 50 个 prompt 显示句子质量没有可感知提升——记忆能影响输出，却没改变自动机内部的规则计算。作者下一步研究「如何让长期状态改变规则触发」。
透明工作流：架构与 QA 由作者主导，Claude、Codex 等 coding agent 承担大量实现；所有结果需标明模型哈希与评测协议，失败实验也公开在 Vovala14/Mica-Ai 仓库。
「编程与Agent」频道最新
- 基于 Josh Puckett 原作，Dialkit macOS 开源：Mac 端实时调试 iOS 界面 — mikelikesdesign · 2026-10-04
- 用 MCP 存决策图谱：隔周回到 Agent 项目也能追溯每条结论 — Mountain-Raise-4556 · 2026-10-04
- 极客用 Lean 语言完整重写《毁灭战士》,还顺手加了形式化证明 — akbirthko · 2026-10-04
- 自研极简编码 agent Jin：只用 3 种 API 标准，用 prompt 替代 MCP — aldapsiger · 2026-10-04
- Kepler 在 ARC-AGI-3 全部 25 关拿服务器验证满分,总成本仅 777 美元 — rohanpaul_ai · 2026-10-04
- AI 智能体靠读源码在 ARC-AGI-3 刷满分,干净重跑仅 46.91 — rohanpaul_ai · 2026-10-04