SenseNova-U1.5-8B 本地实测:M5 Ultra 跑 125 tok/s,还能揪出账单 $1 错误
Binary_orchid · reddit · 2026-10-31
Reddit 用户分享在 Mac Studio(M5 Ultra)上用 llama.cpp 跑商汤 SenseNova-U1.5-8B-MoT 的完整实测。该模型 10 月 21 日合并进 llama.cpp,仅支持理解侧(文/图输入、文本输出),图像生成需另用 stable-diffusion.cpp。
性能(llama-bench, Metal, 全层 GPU)
| 量化 | 体积 | pp512 | tg128 |
|---|---|---|---|
| BF16 | 17.41 GiB | 3398 tok/s | 56 tok/s |
| Q80 | 9.25 GiB | 3582 tok/s | 88 tok/s |
| Q4KM | 5.32 GiB | 3482 tok/s | 125 tok/s |
视觉能力:作者手绘一张小计虚高 $1 的购物小票,Q4KM 通过 llama-mtmd-cli 用 16 秒(含加载,大部分为思考)算出六项合计 28.99、与 printed 29.99 不符,还发现 7% 税费按错误数字计算;Q80 也能发现。菜单、白板、中英文标牌均可准确读出(4-10 秒/张,但测试图由同一模型生成,需保留怀疑)。
踩坑记录
- mradermacher 的量化版不带 mmproj,无法用视觉;用 converthftogguf.py --mmproj 自行转换会报 KeyError: 'visionconfig',修改 conversion/sensenovau1.py 第 80 行为 visionconfig = self.hparams.get("visionconfig", self.hparams) 可修复。
- llama-cli 现在是 TUI,把输出重定向到文件拿不到内容;llama-mtmd-cli 才正常打印到 stdout。
「Infra」频道最新
- Anthropic 上半年人力成本暴涨 486% 至 31.5 亿美元，股权薪酬占七成 — rohanpaul_ai · 2026-10-31
- Cloudflare Durable Objects 默认延迟代码更新，保障长任务 Agent 不被打断 — irvinebroque · 2026-10-31
- Intel 单日暴跌 29%，股价跌破 2000 年互联网泡沫峰值 — mitchdeg · 2026-10-31
- Clover-35B-A3B 量化后仅 29.4GB，64GB Mac 跑出 42 tok/s — viveky259 · 2026-10-31
- Liquid Agent 登陆 Linux：LFM3 小模型全本地运行，一条命令装好 — JosephJacks_ · 2026-10-31
- 纯本地办公 AI 栈：OCR、Agent、RAG、语音六个开源模型组合 — HowDevelop · 2026-10-31