Inkling 276B多模态模型本地实测：精准诊断心衰

近期开发者成功在本地运行 Inkling 276BA12B 多模态大模型（3-bit 量化版），并使用 2 分钟音频完成就诊测试。模型不仅精准推断出失代偿性心力衰竭病因，其 12B 激活参数版本的表现甚至超越了 41B 版本。性能方面，该模型在默认 1M 上下文下常驻内存达 127G，32k 上下文显存占用约 93GB。

2026-08-01 ~ 2026-08-01 · 3 条相关

• Inkling 276B 模型本地量化实测：精准推断出心衰病因 — MaziyarPanahi · 2026-08-01
• Inkling 模型对比：12B 激活参数反超 41B 版本诊断效果 — MaziyarPanahi · 2026-08-01
• 本地跑 276B 多模态模型实测：32k 上下文显存占用 93GB — MaziyarPanahi · 2026-08-01