antirez 释疑本地推理：大 batch 自动切换 layer-major，速度接近全驻留

antirez · x · 2026-11-08

antirez（Salvatore Sanfilippo）在回复 steeve 关于 batch-size>1 扩展性的追问时解释：视频里 prefill 低是因为 prompt 短、只走单 token 路径；实际行为与质疑相反——大的 prefill 或大批量会切换到 layer-major inference（按层而非按 token 驻留推理），速度几乎和全权重驻留一样快。他强调项目已开源，欢迎实测。

后续讨论中他还指出：很多本地推理场景，尤其是非驻留场景，本质是单用户场景——开着 pi 或 opencode 之类工具挂在本地服务器上即可；他也演示了一个颇具说服力的用例，并说明 README 文件还不足以触发性能曲线最快的那一段。