网友整理 GLM 5.3 Flash NVFP4 本地部署仓库，实测支持最高 1M 上下文
HankYeomans · x · 2026-10-25
开发者 HankYeomans 从 Hugging Face 模型卡提取命令，整合出一个面向有足够 GPU 显存用户的仓库，用于本地运行最新的 GLM 5.3 Flash NVFP4 量化模型（nvidia/GLM-5.3-Flash-FP4-Local）。
仓库还包含 TensorFold 部分 基于 DGX 上的一个 PR 改造而来，已能跑通但仍在完善中。实测该模型最高可支持 1M 上下文，但建议使用 512K 效果更稳。HF 模型页与可运行仓库链接均已附上。
「Infra」频道最新
- SGLang 与 vLLM 竞速白热化，推理工程师连周末都没有 — AccBalanced · 2026-10-25
- CASPA峰会：芯片互连耗掉60-70%能源，AI芯片设计周期拟从24个月砍到9个月 — ai · 2026-10-25
- 4x5060Ti+4x3060+256GB 内存,混搭 8 卡跑 MoE 推理可行吗 — Ambitious_Fold_2874 · 2026-10-25
- DeepMind 论文：简单二次模型即可预测 LLM 训练 loss 尖峰 — burny_tech · 2026-10-25
- Netflix 规模端到端知识图谱：本体驱动可观测性实践 — blaizedsouza · 2026-10-25
- 内存占 AI 机柜硅含量七八成，Rasgon 问若价格不崩会怎样 — firstadopter · 2026-10-25