GPU 编程 365 天打卡第 293 天:从 vLLM 转战 SGLang 与 MIT 课程
NandoDF · x · 2026-10-24
开发者 levidiamode 的 GPU 编程学习日志第 293 天:Nando de Freitas 转发。作者此前学了 vLLM,现在借助 mini-sglang(约 5000 行 Python 的紧凑版 SGLang 实现)研究推理服务框架的差异;接下来计划跟进 Meta kernel challenge 和 MIT 韩松的 EfficientML.ai 第 12 讲,内容涵盖 KV cache 优化、MoE、MQA/GQA 与 RoPE。对想系统学 LLM 推理优化的人是不错的学习路线参考。
「Infra」频道最新
- zlib-ng 重度 SIMD 优化，PNG 慢的锅在 deflate 而非 libpng — ssh4net · 2026-10-24
- 美光路线图:HBM4 单栈 2.8TB/s,2028 年推垂直 HBM 叠在 GPU 上 — rohanpaul_ai · 2026-10-24
- Mac 跑混元 3D 2.1 卡顿严重，512 分辨率以上直接报错 — idmimagineering · 2026-10-24
- 九章 4.0 号称 25 微秒完成超算 10^42 年的算题,但任务无实用价值 — AryHHAry · 2026-10-24
- 研究实测：花哨 Agent 框架贵 3 倍但通过率几乎不变 — The Decoder · 2026-10-24
- 新量化格式 Gyro 被质疑是闭源版 EXL3：无公开数据证明更优 — nasone32 · 2026-10-24