DGX Spark 实测五个本地模型:Qwen3.8-27B 30 次编译通过 28 次,速度最快反而垫底
JeremyCMorgan · x · 2026-11-04
Boris Ivanov 在 ASUS Ascent GX10(NVIDIA GB10,128GB 统一内存)上用自研开源 harness llm-compile-bench 测试五个本地模型的「代码能否编译、测试能否通过」:六个任务、每模型跑五次,以 cargo/g++/pytest/go test/tsc 为裁判。结果:
- Qwen3.8-27B(Q4KM,31 tok/s)最可靠:编译 30/30,测试通过 28/30,wall-to-pass 57s;
- gpt-oss-120b(MXFP4,39 tok/s)26/30 通过、最快(27s),但单次首轮曾 6/6 全过的 Go worker pool 任务五次只过一次;
- DeepSeek V4 Flash(91GB 量化)25/30 但最慢(169s),个别运行拖到 1600s+;
- Qwen3.6-35B-A3B 与 Nemotron 3.5 Lightning 速度近 90 tok/s 却分别只过 17/30 和 15/30——最快的两个模型反而垫底。
作者强调单次跑分极具误导性(首轮 gpt-oss-120b 全过看起来是赢家),多次运行的稳定性和「等到可用答案的平均时间」才是关键。harness 开源可复现。
「Infra」频道最新
- Marvell 全股票收购 Lumentum 被指 bubble 时代的签名式交易 — TiernanRayTech · 2026-11-04
- Marvell 收购 Lumentum:分析师称垂直整合是抗衡 Broadcom 的必由之路 — BenBajarin · 2026-11-04
- SemiAnalysis:SpaceX 将成全球最大 AI 云,1.5 年内落地 13GW — dylan522p · 2026-11-04
- ORNL 论文测算:实用量子计算机需 400 万量子比特、占地 800㎡ — anirbanbandyo · 2026-11-04
- Snowflake 开源 Arctic Platform:LLM 后训练框架支持训练与推理分离 — StasBekman · 2026-11-04
- 开源推理引擎 Basalt 0.2.0:单张 5090 上跑出 300 t/s 且质量超 llama.cpp Q8 — jesdga95 · 2026-11-04