276B多模态模型本地实测：3-bit量化跑通，12B激活反超41B
开发者@MaziyarPanahi和@andimarafioti在本地实测了超大型多模态模型Inkling-Small（276B A12B架构）的推理性能与实际应用效果。在3-bit量化下，模型成功在Metal设备上跑通音视频处理，并展现出令人意外的医疗诊断能力，12B激活参数版本的表现甚至反超了更大的41B版本。
已确认
- 模型权重达91GB（3-bit量化），在默认1M上下文长度下系统常驻内存高达127GiB；若限制上下文至32k，内存占用降至93GiB。
- 输入一段2分钟的膝关节就诊音频进行多模态测试，模型不仅准确诊断出失代偿性心力衰竭，还明确指出病因为患者停用了速尿灵（furosemide）。
- @MaziyarPanahi对比发现，12B激活参数版本的表现优于两周前测试的41B激活参数版本——前者不仅指出了病因，还主动要求进行BNP、心电图（ECG）和胸部X光检查。
为什么重要
- 此次实测证明了百GB级超大多模态模型在消费级硬件上经量化后具备可用性，且在专业医疗诊断场景中展现出超越预期的推理深度与主动性，为多模态大模型在垂直领域的本地化落地提供了重要参考。
2026-08-01 ~ 2026-08-02 · 5 条相关
一手来源
- Inkling-276B 多模态模型本地实测：3-bit 量化成功跑通音视频 — MaziyarPanahi ·
- Inkling 276B 模型本地量化实测：精准推断出心衰病因 — MaziyarPanahi ·
- Inkling 模型对比：12B 激活参数反超 41B 版本诊断效果 — MaziyarPanahi ·
- 【源头】Inkling 276B 模型本地量化实测：精准推断出心衰病因 — MaziyarPanahi · 2026-08-01
- 【源头】Inkling 模型对比：12B 激活参数反超 41B 版本诊断效果 — MaziyarPanahi · 2026-08-01
- 本地跑 276B 多模态模型实测：32k 上下文显存占用 93GB — MaziyarPanahi · 2026-08-01
- 实测百 GB 级音频大模型本地推理：1M 上下文吃满 127GB 内存 — andimarafioti · 2026-08-01
- 【源头】Inkling-276B 多模态模型本地实测：3-bit 量化成功跑通音视频 — MaziyarPanahi · 2026-08-02