Jev 式并行结构化推理让 350M 小模型快 63 倍，代码已开源
helloiamleonie · x · 2026-09-20
开发者受 Jev 启发，对 LFM2.5-350M 小模型尝试并行结构化决策推理：在 L40S GPU 上拿到 63 倍加速，MPS（Apple 芯片）上 8 倍，且无需任何训练改动。代码与权重已上传 Hugging Face。
「Infra」频道最新
- NVIDIA 工程师详解 DeepSeek V4.1 Flash 为速度重构架构 — thursdai_pod · 2026-09-20
- 140 美元捡漏 AMD MI50：老平台加卡跑 30B 模型提速近 9 倍 — tabletuser_blogspot · 2026-09-20
- halogen 0.12.0 让 Strix Halo 跑百万上下文解码提速至 38 tok/s — peonist-ai · 2026-09-20
- GPU 编程学习日志:精读 CUDA matmul 优化经典与 MIT 稀疏性课程 — NandoDF · 2026-09-20
- 开发者用 Jev 搭建 SLO 感知 LLM 推理路由,按质量延迟成本选模型 — ai · 2026-09-20
- 忆阻器网络研究:让材料本身成为模型,自学重组计算 — bravo_abad · 2026-09-20