自托管管线的硬件拆分方案
TheZachMueller · x · 2026-07-11
作者补充说，他的自托管方案是把 **Kimi** 和 **GLM** 分别跑在一台 **B200** 节点的一半资源上，使用的是 **NVFP4**；其中 Kimi 还带了一个 speculative decoder。 他还提到自己在等 kernel 相关实验跑完，再把 **Flash** 也加进去并在本地托管。
「编程与Agent」频道最新
- 马斯克称 Grok 4.5 登顶长程终端任务基准 — elonmusk · 2026-07-21
- Codex Computer Use 借 iPhone 来电筛选拿到语音验证码 — KarelDoostrlnck · 2026-07-21
- Grok Imagine 的 Agent mode 新增裁切功能，方便做视频转场 — elonmusk · 2026-07-21
- Skillerr 给 AI agent skills 加上签名与权限审计 — csinye · 2026-07-21
- 工程平台用 AI 代理自动分派并处理 Jira 故障 — Pavan_Belagatti · 2026-07-21
- Reddit 讨论：如何阻止 agent 反复重试同一失败调用 — bulleykebaal · 2026-07-21