无神经网络语言模型 MICA 开源,推理仅靠元胞自动机
Silver_Employ2617 · reddit · 2026-10-01
MICA 是一个推理时完全没有神经网络的小型语言模型:用学习到的重写规则更新整数元胞网格,输出直接读取元胞状态。项目现分为字级模型 Flame-W(34 MB)和字节级模型 Ember(4.5 MB),均已开源并在浏览器 playground 可试玩(mica-ai-ten.vercel.app),代码含 139 个一致性测试和研究笔记(含负结果)。
关键数字与发现:
- Flame-W 下一词 top-1 命中约 20.7%,两字母后补全命中率约 43.6%;Ember 损失约 1.86 bits/byte。
- 最大的短板:MICA 的有效上下文只有约 4-8 字节,远低于同数据上小 transformer 能利用的 32 字节,这是它跟不上句意的主因,也是作者下一步攻关方向。
- 多种改进尝试(PPMI 词编码、冻结路由通道等)均未通过句子质量门控,full40 仍是官方版本。
- 作者与 Claude、Codex、Grok 三个编码 agent 协作开发:共享 board 文件协调、同一时间只跑一个 GPU 任务、每个结果必须标注模型 hash 和评测集,保证数字可追溯。
研究性质项目,作者明确表示句子尚不可靠,欢迎批评,并通过网站收集用户修正数据用于下一轮训练。仅限个人和研究使用。
「编程与Agent」频道最新
- 产品人四问个人 AI Agent:缺新手引导、配方层与跨工具上下文 — rebeccakaden · 2026-10-01
- 数独 App 三轮代码审查全过,打开首页才发现「丑」 — SeanOliver · 2026-10-01
- 语音智能体开始真正干活,开发者需适应新交互范式 — rseroter · 2026-10-01
- AI 智能体自建防作弊检查,又亲手把检查改坏了 — victor_explore · 2026-10-01
- Allie K. Miller 团队免费直播对比 Codex 与 Claude Code 实战用法 — alliekmiller · 2026-10-01
- 开源 CLM-8B 实时玩 Terraria:毫秒级排序候选动作操控游戏 — iamrobotbear · 2026-10-01