SenseNova-Loop-9B 循环 transformer 笔记本 RTX 5090 跑出 1300+ tok/s

tebjan · reddit · 2026-11-22

Reddit 用户在笔记本 RTX 5090 上实测 SenseNova-Loop-9B(循环 transformer,NVFP4 权重+GPTQ 误差补偿),聚合吞吐超 1300 tok/s(截图中 decode 达 1411 tok/s),起初以为计数器出 bug。与同为 NVFP4 的 Qwen3.8-27B 对比:

结论:9B 适合快速的例行工具与编码任务,更难的 agent 任务会掉队。FP8 测试尚未做。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →