并行结构化推理让 350M 小模型提速 63 倍，代码开源

有开发者受 Jev 启发，对 LFM2.5-350M 小模型尝试并行结构化决策推理：不做任何训练或改动，仅靠并行决策实现推理加速。实测显示该方法在 L40S GPU 上比原推理快 63 倍，在苹果 MPS（Apple 芯片）上快 8 倍。相关代码与权重已经开源，引发社区关注。

2026-09-20 ~ 2026-09-20 · 2 条相关

• Jev 式并行结构化推理让 350M 小模型快 63 倍，代码已开源 — helloiamleonie · 2026-09-20
• 受 Jev 启发的推理方案：350M 小模型提速 63 倍，代码权重已开源 — JosephJacks_ · 2026-09-20