Burkov AI 周报 #179:GPU 租买账、llm-d 低成本部署 753B 开源模型
burkov · x · 2026-09-25
Andriy Burkov 发布 True Positive Weekly 第 179 期，本期要点：
- GPU 租 vs 买的算力经济分析
- 一则 agentic 数据科学实战故事
- llm-d 工具：在 NVIDIA H100 上部署 753B 开源模型，可服务数千并发编码 agent，成本低至竞品的 1/5-1/10
- 讲解用 GRPO 100 步微调 350M 模型以改进结构化输出
- DeepSeek-V4.1-Flash 开源：支持图像输入、擅长编码，价格比同等能力的闭源模型便宜约 20 倍
- 傅里叶变换交互式入门教程、KV Cache 淘汰策略新论文 Random Attention、Thuerey 等人的《Physics-Based Deep Learning》2026 版书籍
「Infra」频道最新
- VeriTile:用 Lean 形式化验证 Triton GPU 内核,AI 智能体自动写正确性证明 — KaiyuYang4 · 2026-09-25
- Merge Gateway 推出 Batch API,批量推理约半价 — shensi · 2026-09-25
- 工程师发文详解生产环境 LLM 推理扩容实践 — abhijithneil · 2026-09-25
- Lambda 工程师详解本地推理装机:27B 模型需 24-32GB 显存 — TheZachMueller · 2026-09-25
- Pokee AI 现场演示 36B agent 模型跑在 32GB 内存的骁龙笔记本上 — Kyrannio · 2026-09-25
- AMD 讲师亮相 PyTorchCon:1K+ MI355X 上实现 MXFP8 预训练扩展 — PyTorch · 2026-09-25