自托管管线的硬件拆分方案
TheZachMueller · x · 2026-07-11
作者补充说，他的自托管方案是把 Kimi 和 GLM 分别跑在一台 B200 节点的一半资源上，使用的是 NVFP4；其中 Kimi 还带了一个 speculative decoder。
他还提到自己在等 kernel 相关实验跑完，再把 Flash 也加进去并在本地托管。
「编程与Agent」频道最新
- 零基础开发者自建分层记忆架构，仅 20k token 记住一年对话 — matteoianni · 2026-09-11
- Warp 六个非工程团队全用 Linear 和 Claude Code 工程化运作 — mon__lim · 2026-09-11
- 九年后端老兵：AI 代码不比人写的差，变糟的只是速率 — Sweaty-Landscape-561 · 2026-09-11
- 实测质疑 RTK 省 token 说法：成本基准显示并不成立 — michalwarda · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- Anthropic 研究员:99% 工程师已跑 300+ 自改进 agent 群 — AlishaOutridge · 2026-09-11