博主实测:开源模型复杂编码任务常半途放弃
zyxciss · reddit · 2026-11-05
Reddit 用户在重构自己的 Betelgeuse 引擎(自定义 kernel 的 PP bug)时系统测试了十几款模型,发现多数模型不是解不了题,而是「中途放弃」:给四项子任务只完成一项就收尾。能坚持找出并修复 bug 的有 Opus 5.5 Max、GPT-6 Astra、Sonnet 5.5 Max、Kimi K3.1 Pro、Muse Wonder Max、Haiku 5.5(识别出但未修完);放弃或失败的有 Gemini 3.8 Flash、GLM 5.3、DeepSeek V4.1 Flash、Qwen 3.8 系列、MiMo V2.6 Pro、MiniMax M3.1 Flash(最差)等开源模型,其中 Qwen 3.8 Flash-Next 烧了 17.8 万 thinking token,Qwen 3.8 27B 烧光 26.2 万上下文。GPT-6 Astra 随后把 Betelgeuse 的 prefill 速度从 7 PP/s 提到约 70 PP/s(10 倍以上),decode 从约 10 提升到 14 TG/s,硬件仅 RTX 3060 + 16GB 内存 + NVMe。作者结论:前沿闭源模型在长程坚持度上明显强于开源模型,开源阵营里 DeepSeek V4.1 Flash 和 GLM 5.3 最接近但仍有遗漏。
「模型」频道最新
- 改一个没人调的设置,RAG 准确率从 100% 掉到 33% — dima806_dima · 2026-11-05
- KOL 点赞 DeepSeek 评测框架:这次是真下功夫了 — mariofilhoml · 2026-11-05
- Lebrel 开启早期测试:无审查前沿模型+链上签名可验证推理 — HeyAmit_ · 2026-11-05
- 开源 4B 决策模型实测:Mac mini 上单次前向约 11 次决策/秒 — const_reborn · 2026-11-05
- 公开榜单不可信:微软倡导者提醒开发者务必自建私有评测 — HamelHusain · 2026-11-05
- Harmonic 的 Aristotle 模型一键合成电路并附完整 Lean 证明 — satnam6502 · 2026-11-05