离线命令执行智能体作者称，8.52 亿 token 只够 4200 万参数模型
NIRMATA_VISION · reddit · 2026-07-26
作者在做一个名为 Nirmata Vision 的离线命令执行智能体，目标是：完全离线、无 API 依赖、模型和数据都自己掌控。
- 他认为自己这个场景更适合 “广而不窄” 的模型：因为真实输入是杂乱、带错字的人类问题，系统首先得能理解并路由到正确答案。
- 按 Chinchilla 的计算最优比例粗算后，现有 8.52 亿 token 只够支撑大约 4200 万参数 的模型；因此当前真正卡脖子的不是算力，而是 token 量。
- 目前已完成：数据管线与分词流程、以及小规模的 teacher→student 蒸馏管线。
- 下一步计划：先用约 4200 万参数做端到端 smoke test，再转向 FineWeb-Edu 扩充数据；继续扩大合成数据生成；从 OLMo 起步以避免许可证锁定；在合并语料上微调；最后做“杂乱人类输入 → 正确答案”的核心层和评测框架。
「编程与Agent」频道最新
- OpenAI 和 Anthropic 被指正推进多智能体强化学习 — sebkrier · 2026-07-26
- AIWayfinder 加入 EVM 钱包导入和历史管理功能 — templecrash · 2026-07-26
- Anthropic 工程师放出 2 小时图式 Agent 工程课 — pswider · 2026-07-26
- Grok Build 用明确指令修正程序化游戏模型编辑 — Daniel_Farinax · 2026-07-26
- 研究者称 Opus 5 是好研究搭子，但写代码仍偏谨慎 — _xjdr · 2026-07-26
- Gemini CLI 通过重试 dist-tag 清理修复发布竞态 — IshankDev · 2026-07-26