antirez 释疑本地推理：大 batch 自动切 layer-major

Redis 作者 antirez（Salvatore Sanfilippo）与 steeve 就其开源本地推理项目的扩展性展开讨论。他解释演示视频中 prefill 占比低是因为 prompt 较短，且大 batch 下会自动切换到 layer-major 模式，速度接近全驻留方案；README 尚不足以触发性能曲线最快区间。他还指出多数本地推理、尤其是非驻留用例本质上是单用户场景，用 pi/opocode 挂本地服务器即可满足需求。

2026-11-08 ~ 2026-11-08 · 4 条相关