Cloudy 用 Claude Code 自主调内核,gpt-oss-20b 解码提速 15% 跑赢 vLLM
saurabhtwq · x · 2026-10-24
Cloudy 是一款面向长时间云端实验的自动化 ML 研究工具：实验可在 CPU 与 GPU 间按需迁移、附带 TB 级存储、随时暂停续跑，由 agent 自主设计实验、从结果中学习并持续迭代，最终交付代码与数据。
官方展示的案例中,agent 在 1× H100 上用 torch profiler 分析发现解码耗时主要在 MoE 与 attention 内核,随后只依赖 torch 和 triton 重写了 297 行的 kernels.py(RMSNorm、RoPE、split-KV 解码注意力、加载时重排权重的分组 MXFP4 MoE):
- 调优后 vLLM 0.31.0 在 gpt-oss-20b batch 1 上为 330.9 tok/s,以此为基线
- 自研内核各点位领先 vLLM 10.8%15.2%(20b batch1 +15.2%、120b batch1 +14.9%)
- 贪心解码输出与 fp32 参考在 20 prompt×1000 步上完全一致,GPQA-D 与 AIME25 成绩落在官方 95% 区间内
- 剩余缺口：120b 满载服务时因 prefill 暂停解码,为 vLLM 的 0.946 倍
「编程与Agent」频道最新
- LiteLLM 完整复盘 v1.107.0 投毒事件：泄露主密钥引发供应链攻击 — jedisct1 · 2026-10-24
- shadcn/ui 不止是组件库:一条命令把源码交付进你的项目,改变了代码分发方式 — shadcn · 2026-10-24
- 50 美元 token 把 Apache2 换成形式化验证的 Verus Rust:代码真的便宜到可以重写了 — jd_pressman · 2026-10-24
- 开发者观点：多智能体系统中网络设计将比操作系统更关键 — tokenbender · 2026-10-24
- DecisionFormer 开源：像用 Transformers 一样微调「决策模型」 — kalyan_kpl · 2026-10-24
- 用 Gemini 当软件架构师，独立开发 Apple Watch 咖啡因追踪应用 — pythononrailz · 2026-10-24