9B 模型跑出 59 tok/s:SenseNova-Loop-9B 在 16GB 显卡实测
AIFlow_ML · x · 2026-11-22
JJ Eaton 在 TensorFold 上实测了 SenseNova-Loop-9B:RTX 5070 Ti 上 59.1 tok/s,M5 Ultra 上 59.5 tok/s,显存占用 16GB。
- 他自己指出的短板是工具调用:BFCL 得分 58%
- 结论:便宜卡上做聊天够用,但还不适合当 agent 的大脑
「Infra」频道最新
- 研究:就地建光储电站是美国多数地区 AI 数据中心最便宜的供电方案 — mattbeane · 2026-11-22
- AMD 向 Rust 推理引擎 LexiEngine 新增 Inkling 模型支持 — W61k3r · 2026-11-22
- 17.6GB 模型跑进 12GB 手机:Inkling 2 Mini 达 3 tok/s — dai_app · 2026-11-22
- 16-32GB 内存能跑的本地模型,2025 年底追平闭源 SOTA 了吗 — AnimalPuzzleheaded71 · 2026-11-22
- NVIDIA 新论文:把推理缓存成 CPU 代码,同类问题便宜 16-291 倍 — rohanpaul_ai · 2026-11-22
- 异步RL的max_staleness=3真能限住陈旧度吗?10个框架实测多数做不到 — 青稞AI · 2026-11-22