Baseten 用 Rust/CUDA 从零打造 DeepSeek 推理引擎,agent 优化出 10% 额外提速

baseten · x · 2026-11-17

Baseten 宣布用 Rust 和 CUDA 从零构建 DeepSeek V4.1-Flash 开源推理引擎:4×B300 解码约 1,740 TPS,8×B300 约 2,060 TPS,100 万 token prefill 约 12 秒。随后有工程师在未公开信息的下一代 Vera Rubin 架构上复现此挑战,验证 agent 不仅超越了人类初始性能预测,还找到了可泛化回 Blackwell 的优化,使 B300 step time 再快 10%。作者认为 Opus 5.5 发布后性能工程迎来拐点:只要验证可靠,agent 可以无限爬山,人类输入只剩鼓励和温和引导。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →