Baseten 用 Rust/CUDA 从零打造 DeepSeek 推理引擎,agent 优化出 10% 额外提速
baseten · x · 2026-11-17
Baseten 宣布用 Rust 和 CUDA 从零构建 DeepSeek V4.1-Flash 开源推理引擎:4×B300 解码约 1,740 TPS,8×B300 约 2,060 TPS,100 万 token prefill 约 12 秒。随后有工程师在未公开信息的下一代 Vera Rubin 架构上复现此挑战,验证 agent 不仅超越了人类初始性能预测,还找到了可泛化回 Blackwell 的优化,使 B300 step time 再快 10%。作者认为 Opus 5.5 发布后性能工程迎来拐点:只要验证可靠,agent 可以无限爬山,人类输入只剩鼓励和温和引导。
「编程与Agent」频道最新
- Decision Models 更新图片决策 Playground,可查看概率与请求成本 — airesearch12 · 2026-11-17
- 微软手握全部代码仓库,Copilot 编码还是不行——为什么? — prasenx · 2026-11-17
- shadcn 分享:让 agent 写代码前先问一句「你确定吗」 — shadcn · 2026-11-17
- 斯坦福 CS329A《自我改进 AI Agent》9 讲全套免费上线 YouTube — techNmak · 2026-11-17
- 单文件网页复刻「进度条卡在99%」,纯 JS 合成全部音效 — prasenx · 2026-11-17
- 「星座视图」:把多智能体监控看成一片星空 — kevinkern · 2026-11-17