10ms 纯 CPU 玩 Doom：106M 小模型击败 500ms 的 Jev

Playful_Suggestion_3 · reddit · 2026-09-29

作者发布 Go 库 indecis（MIT 协议），微调一个小型文本编码器（约 106M 参数，几十 MB）来回答类型化问题（是/否、多选、量表，带概率），实现在单 CPU 核心上以 10ms 中位延迟玩 Doom。对比：Jev 决策需 70–500ms 且为托管服务，LAYA 为 421M 参数、98ms/决策。在 ViZDoom defendthecenter 场景 20 轮测试中平均 +21.8 分，追平生成训练数据的脚本机器人，内存约 65MB，笔电上 11 分钟即可训完。关键在速度：去掉 SIMD 后单次决策 180ms，每场漏 60 次决策，成绩差十倍。作者思路是用专精小模型换通用模型的速度，下一步想把 Xolo LLM 网关的 llm-classifier 插件改为本地小模型，省掉几百毫秒网络往返。