单张 AMD MI325X 跑 DeepSeek 552B：四 agent 同时 100 tok/s
realmrfakename · x · 2026-10-25
lxe 演示用自研 dsx-amd 引擎（Rust + HIP）在单张 256GB AMD Instinct MI325X 上本地运行 DeepSeek-V4.1-Flash-1017（552B 参数 + 196B Engram 表）。
- 四个编程 agent 并发，每会话实测约 100 decode tokens/s；专家全保留、不剪枝
- 原生 MXFP4 专家混配拟合 3-bit 专家塞进显存，196B Engram 表放 NVMe + 主机页缓存
- 与 FP8 输出一致率 90.6%（Lucebox eval），服务配置下约 88.3%
- 提供 OpenAI/Anthropic 兼容 API，支持流式与工具调用
「编程与Agent」频道最新
- CapCut 插件进驻 Codex：ChatGPT 桌面端直接产出可编辑剪辑草稿 — socialwithaayan · 2026-10-25
- Base44 集成 Entri:两次点击自动绑定自定义域名 — tristanbob · 2026-10-25
- Cursor Ultra 每月 200 美元，Grok Bot 却一天耗尽一周用量额度 — alexcovo_eth · 2026-10-25
- Agent 指令文件等同可执行代码却跳过代码审查，开源工具 Cairnlock 求解 — augustkevinsanjaya · 2026-10-25
- Reddit 用户自建 Linear+Claude Code 无人值守工单转代码流水线 — Awkward_Rent4749 · 2026-10-25
- dotey:手机上用 Grokbot 跑 Agent 比 Claude Code/Codex 顺手 — dotey · 2026-10-25