10ms 纯 CPU 玩 Doom:106M 小模型击败 500ms 的 Jev
Playful_Suggestion_3 · reddit · 2026-09-29
作者发布 Go 库 indecis(MIT 协议),微调一个小型文本编码器(约 106M 参数,几十 MB)来回答类型化问题(是/否、多选、量表,带概率),实现在单 CPU 核心上以 10ms 中位延迟玩 Doom。对比:Jev 决策需 70–500ms 且为托管服务,LAYA 为 421M 参数、98ms/决策。在 ViZDoom defendthecenter 场景 20 轮测试中平均 +21.8 分,追平生成训练数据的脚本机器人,内存约 65MB,笔电上 11 分钟即可训完。关键在速度:去掉 SIMD 后单次决策 180ms,每场漏 60 次决策,成绩差十倍。作者思路是用专精小模型换通用模型的速度,下一步想把 Xolo LLM 网关的 llm-classifier 插件改为本地小模型,省掉几百毫秒网络往返。
「模型」频道最新
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16