四个 LLM 打《毁灭战士》:Jev 击杀 5.63 领跑,实测延迟差 15 倍
shniydder · reddit · 2026-09-20
一位开发者让 Jev、Laya、微调版 ModernCE-base-nli 和微调版 Qwen3.5-4B (LoRA) 玩《毁灭战士》(ViZDoom),同种子同起点对比四种模型的表现,灵感来自 TypeSafe 的 Jev Doom demo。
实验设置:
- 输入:Python 适配器读取 ViZDoom 的可见物体标签、边界框和 HUD(血量/弹药)生成简短文本描述。
- 输出:单个按键动作——Defend the Center 模式为左转/右转/开火,Health Gathering 模式为左/右/前进找医疗包。
- 游戏时钟 35Hz,目标每秒 5 次决策,模型回复期间游戏不暂停;本地模型跑在一台 DGX Spark(GB10,128GB 统一内存)上,Jev 用 TypeSafe 托管 API。每个模型每个场景跑 8 个种子,每局上限 30 秒,均未做 Doom 专项训练。
结果(均值):
- Jev 1.13:Defend the Center 平均击杀 5.63,Health Gathering 存活 13.03s,但调用延迟 p50 高达 117.3ms(含 API 往返)。
- Qwen3.5-4B LoRA:击杀 3.63,存活 11.31s,延迟 p50 约 146.8ms。
- Laya:击杀 1.25,存活 11.89s,延迟仅 16.2ms。
- 微调 ModernCE:击杀 1.25,存活 11.66s,延迟最低(p50 7.6ms)。
结论:Jev 决策质量明显更强但延迟高一个数量级;本地小模型延迟极低但击杀数差 4 倍多。作者另写了探索 Jev 的长文:morethanamachine.com/posts/jev-style-decisions-dgx-spark/。
所属事件:四模型实测玩《毁灭战士》:Jev 击杀 5.63 领跑(2 条相关)→
「模型」频道最新
- 11 个 LLM 剑桥辩论社对决 1168 场:Claude Fable 5.2 压倒性夺冠 — AymericRoucher · 2026-11-12
- 用户实测 Claude App:widget 模块看不到用户编辑、移动端也不显示 — petergyang · 2026-11-12
- Allen-Zhu新论文:Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Ricursive 发布开源权重 Ripple-65B:TerminalBench 称霸美国开源榜 — StanfordAILab · 2026-11-12
- 被严重低估的资源:跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- Datalab 快速模式 OCR 准确率超 Opus 5.5,价格仅 1/4 到 1/68 — VikParuchuri · 2026-11-12