M5 Max 实测 33B 模型：Kapitsa 解码最快且 32K 仅占 28GB，KV cache 差距悬殊
DotaMate · reddit · 2026-10-27
开发者（Apple Silicon 推理引擎 Kapitsa 作者，开源 Apache2，已声明利益相关并附复现脚本）在 MacBook Pro M5 Max 128GB 上横评 mlx-lm、llama.cpp 与 Kapitsa 跑 Nanbeige4.3-33B 4-bit，覆盖 512 到 32K 上下文。
- Prefill：mlx-lm 全面领先（32K 约 546 tok/s），llama.cpp 长上下文垫底
- Decode：Kapitsa 配 KFlash 投机解码写代码达 36.6 tok/s，vs mlx-lm 27.1、llama.cpp 24.9
- 多轮对话后续 TTFT：Kapitsa 约 140ms，明显快于 mlx-lm（约 500ms）与 llama.cpp
- 内存：29.5K 上下文 Kapitsa 仅 28GB，mlx-lm 高达 52GB
- 作者指出该模型每层全注意力导致 KV cache 极不高效：128K 上下文内存 26GB（对比 muse glimmer 的 1.6GB），整体速度偏慢
原始输出与脚本公开，可自行复跑。
「Infra」频道最新
- OpenAI 实测英伟达 Vera CPU:Python 吞吐提升 51% — firstadopter · 2026-10-27
- 开源工具 Berth：让多个 AI 引擎分时共享一张 GPU 互不打架 — Distinct-Pie2389 · 2026-10-27
- Cloudflare 披露 GLM-5.3 跨用户 KV cache 泄漏：155 条回复受影响，已修复 — michellechen · 2026-10-27
- Cloudflare 披露 GLM-5.3 Workers AI 跨请求 KV 缓存泄露事件 — wondersky · 2026-10-27
- DGX Spark 全本地方案用一个月：代码质量仍不敢完全信任本地模型 — michaelthatsit · 2026-10-27
- Cloudflare Workers 追踪新增 spanContext 等 3 个 OpenTelemetry API — irvinebroque · 2026-10-27