RTX 4080 跑 SenseNova Loop 9B:16GB 显存解锁 256k 上下文
roofkid · reddit · 2026-11-21
Reddit 用户 roofkid 为自己的 ninfer-4080 项目(RTX 4080 等 16GB 显存 4xxx 卡的本地推理移植)加入了对 SenseNova Loop 9B 的支持,宣称性能接近 Qwen 3.8 27B 且支持 256k 上下文与视觉输入。
- 新脚本 run-sensenova-loop-9b.bat/.sh:一键用 Docker 拉取预构建镜像与 artifact,免编译免装依赖,唯一前置条件是装好 Docker
- 旧脚本仍支持 Qwen 3.8 27B 的 GSQ3 量化版(100k 上下文,纯文本为主)
- artifact 基于 AWQ 量化版本制作,作者在 MBPP 基准上实测质量优于从 BF16 直接用 ninfer 现有量化方案
对等不到 Qwen4 27B 的低显存用户来说,是大幅扩展可用上下文的实用更新。
「Infra」频道最新
- SpaceX 发债 320 亿美元锁定英伟达 Rubin GPU,收益率超 8% — rohanpaul_ai · 2026-11-21
- 传美国芯片出口新规:境外代工芯片也需许可,海外数据中心受限 — JensHonack · 2026-11-21
- 葡语教程:在 Windows/Linux/Mac 本地部署 MiniMax H3 — Ashamed-Rub5601 · 2026-11-21
- 英伟达被曝 200 亿美元押注 Groq,前员工转投 Gimlet Labs 做算力生意 — yawnxyz · 2026-11-21
- RTX 5090/4090 全本地栈:开源权重模型跑生产级开发与测试闭环 — awitod · 2026-11-21
- Vespa 创始人创办 Hornet:打造 agent 时代检索基础设施 — jobergum · 2026-11-21