SenseNova-Loop-9B 循环 transformer 笔记本 RTX 5090 跑出 1300+ tok/s
tebjan · reddit · 2026-11-22
Reddit 用户在笔记本 RTX 5090 上实测 SenseNova-Loop-9B(循环 transformer,NVFP4 权重+GPTQ 误差补偿),聚合吞吐超 1300 tok/s(截图中 decode 达 1411 tok/s),起初以为计数器出 bug。与同为 NVFP4 的 Qwen3.8-27B 对比:
- 持平:GSM8K 数学(95.4 vs 95.5)、多轮工具调用(56.2 vs 58.8)——三分之一体积仅差约 3 分
- 略落后(4-5 分):HumanEval 编码(92.5 vs 97.0)、单次工具调用、日常工具使用,应付常规 agent 工作够用
- 明显落后:困难多步工具场景(79.0 vs 89.5,会漏步骤、发重复通知)、大海捞针长上下文(83.3 vs 100)、MMLU-Pro(63.7 vs 85.0)
结论:9B 适合快速的例行工具与编码任务,更难的 agent 任务会掉队。FP8 测试尚未做。
「Infra」频道最新
- Inkling 2 Mini 登顶性价比榜:26B 循环 Transformer,每千题成本最低 — TheZachMueller · 2026-11-22
- 425MB 决策模型跑 CPU:自研 4bit 量化仅损 0.18pp 精度、快 2 倍 — Danmoreng · 2026-11-22
- Gemini 4 Neon 自主优化 GPU 内核,AMD 硬件上跑出 5.9 倍 prefill 提速 — sebkrier · 2026-11-22
- Intel 350W 新卡 D270 曝 5.9 倍吊打 RTX PRO 6000,实为田忌赛马 — StefanoGogioso · 2026-11-22
- TechCrunch:财报亮眼与高管喊话黄仁勋,两个英伟达 — TechCrunch AI · 2026-11-22
- Chollet:算力需求未见顶,GPU 现货价持续上涨是买入机会 — fchollet · 2026-11-22