双卡昇腾 310P 跑通 GLM-5.3-Flash:8 tok/s、31 万上下文实录

matteiuspi · reddit · 2026-10-12

Reddit 用户详细记录在两块昇腾 310P(96GB DDR4x)卡上用 vllm-ascend 运行 GLM-5.3-Flash 的全过程:

• GLM-5.3-Flash 为 320B 参数 MoE，每 token 激活约 18B，W2/W3/W4 混合量化；作者先用租用的 NVIDIA 机器提取「golden」校准数据再适配 Ascend
• 优化后从 8 秒/token 提升到 8-9 tok/s，已验证单请求 311,040 token 上下文、640-token prefill 分块、4 路并发
• 实现模型热插拔(hotswap)省去重复加载，一周完成原本 2-3 周的实验；还实现 YaRN 支持 1M 上下文、qwen-flash-next 图像处理
• 提出 Ascend Sidecard 思路:把部分权重和计算 offload 到 Ascend 卡(存储成本约为 RTX 6000 的 14%)
• 花絮:RTX 6000 Pro 电源线被风扇卷入掉出 PCIe 总线；作者称 Codex 很擅长帮他调 Ascend fused kernels，而 Claude 拒绝讨论昇腾架构

原文链接 →

「编程与Agent」频道最新

• 学生求助:用 Claude Code 写规格、Antigravity 干活仍总漏细节 — 3ATAE · 2026-10-12
• 2 亿篇论文免费语义搜索开放:一条命令把文献库装进 AI agent — pbaylies · 2026-10-12
• CC Switcher 开源:Windows 上一键并行运行多个 Claude Desktop 账号 — zeeg · 2026-10-12
• 把 LLM 关进保险库当保安,Guard Lab 开源让你骗它抢银行 — flowersslop · 2026-10-12
• 微软开源 IQ Solution Accelerator:统一 Work/Foundry/Fabric IQ 的企业智能层 — adnan_hashmi · 2026-10-12
• Claude 作曲并写代码:MIDI 渲染成 3D 手弹钢琴视频,开源可复现 — MrBobBrick · 2026-10-12

更多「编程与Agent」频道 AI 资讯 →