Jev 式并行结构化推理让 350M 小模型快 63 倍，代码已开源
helloiamleonie · x · 2026-09-20
开发者受 Jev 启发，对 LFM2.5-350M 小模型尝试并行结构化决策推理：在 L40S GPU 上拿到 63 倍加速，MPS（Apple 芯片）上 8 倍，且无需任何训练改动。代码与权重已上传 Hugging Face。
所属事件:并行结构化推理让 350M 小模型提速 63 倍，代码开源(2 条相关)→
「Infra」频道最新
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04