K2 Horizon 全系上架 AA，实测 KV cache 设计拖累参数效率
crusaderky · reddit · 2026-09-14
K2 Horizon 全系模型已上架 Artificial Analysis，作者认可 AA 智能指数（0.9B 与 375B 表现差；3.7B 与 7B 达 SOTA；36B A4B 适合低内存带宽硬件），但指出其 KV cache 设计糟糕，按参数量选型会被严重误导。
作者给出 Q4KM 量化、无 drafter、128k 上下文下的实际内存占用：
- 36B-A4B：2 GiB 稠密权重 + 19 GiB 专家 + 6.7 GiB 上下文
- 7B：5.2 GiB 权重 + 5 GiB 上下文
- 3.7B：2.9 GiB 权重 + 5 GiB 上下文
对比 Qwen3.6-35B-A3B（上下文仅 0.7 GiB）和 MiniCPM5-2B（1.5+1.5 GiB）。
选型建议：36B-A4B 只在恰好 16GB VRAM + ≥32GB 内存时有趣；24GB VRAM 下 Qwen3.8-27B 更快更聪明且支持 256k；7B 适合 16GB VRAM 与 32GB 内存 Strix Halo；3.7B 或许适合 12GB 手机但 MiniCPM5-2B 体验更好。
「Infra」频道最新
- 8GB 显卡本地跑 Flux+Wan 2.2：三个设置错误拖慢了所有渲染 — roro9- · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30