同 harness 对比实测：Nanbeige 33B 输出零可编译

julianharris · x · 2026-10-26

Julian Harris 引用一份严格公平的本地模型对比：相同 harness、任务为从零重建真实 CLI 工具、502 个隐藏测试、无网络、最多 30 步。结果 Qwen 3.8-27B（vLLM NVFP4）有 251/253/308 档分布的产出，而 Nanbeige 4.3-33B（Q4KM llama.cpp）生成结果 0 编译通过，全部失败。

作者据此判断 Nanbeige 的官方跑分是极端的 benchmaxxing，「trustmebro 数字」不可信，并已将其从自己的本地模型清单中剔除。