Inkling-276B 多模态模型本地实测：3-bit 量化成功跑通音视频
MaziyarPanahi · x · 2026-08-02
开发者 Maziyar Panahi 分享了多模态模型 Inkling-Small（276B A12B 架构）在本地设备（Metal）上的最新实测数据。
在 3-bit 量化下，该模型占用了约 91.19 GiB 显存。推理速度方面，上下文处理（pp512）达到约 510 tokens/s，生成速度（tg64）为 37 tokens/s。实测中，他成功让模型同时处理图像和音频输入，并准确分析了一段 2 分钟的关于膝盖病情的医患就诊音频，甚至精准推断出患者停用利尿剂导致心衰恶化的病因。
所属事件:276B多模态模型本地实测：3-bit量化跑通，12B激活反超41B(5 条相关)→
「模型」频道最新
- Meta 开源 Muse Spark 权重，扎克伯格只能在 X 上感谢苹果 — AIFlow_ML · 2026-10-16
- Reddit 用户实测称 ChatGPT Pro 三档套餐用量上限几乎相同 — These-Breadfruit4067 · 2026-10-16
- 用户投诉 Gemini 记忆删不掉,关掉重开依然全记得 — ThrowRA_Purpose2025 · 2026-10-16
- 曝 OpenAI 暗测内部神秘模型 Aeon：已现身 Codex 桌面版用量面板 — cedric_chee · 2026-10-16
- 博主实测：argon 日常全面能打，但重度编码仍略逊 Claude — iruletheworldmo · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16