循环 Transformer SenseNova-Loop-9B 官方 GGUF 上线,Q4 仅 5.8GB
Binary_orchid · reddit · 2026-11-18
本周发布的 9B Looped Transformer 模型 SenseNova-Loop-9B 官方量化版本已在 Hugging Face 上线:
- GGUF:提供 Q4KM(5.8 GB)、Q5KM、Q80、BF16,另有 0.9 GB mmproj 支持图像输入。
- 兼容性:sensenovaloop 架构尚未进 mainline llama.cpp(issue #31571),需用官方 fork OpenSenseNova/llama.cpp 运行,命令:llama serve -hf sensenova/SenseNova-Loop-9B-GGUF:Q4KM -ngl 99 -c 4096 --port 8000。
- AWQ:另有 4-bit AWQ 版本,同仓库附带匹配的 MTP draft 模型。
- 显存占用:4-bit 权重 + 8-bit KV cache,64K 上下文约 10 GiB,256K 约 15 GiB。
「Infra」频道最新
- 8GB 旧笔记本离线跑开源模型,20 分钟变身家庭私人 AI — alex_verem · 2026-11-18
- DEC Alpha 处理器兴衰史长文:从性能之王到被遗忘 — ArtificialOther · 2026-11-18
- 安卓本地跑扩散模型:Snapdragon NPU 上的 ComfyUI 式生成器 — Few_Caregiver8134 · 2026-11-18
- 免费在线书《LLM Inference Handbook》:生产级推理部署指南 — burkov · 2026-11-18
- SEC 对英伟达展开民事调查,涉未披露的涉华芯片销售 — The Decoder · 2026-11-18
- 开源LLM推理优化手册:48个主题配可动手实现的练习题 — udmrzn · 2026-11-18