Gated DeltaNet 为何扛住 4-bit:27B 混合 LLM 全 NVFP4 W4A4 量化实验
minima-ai · hf · 2026-09-04
minima-ai 对 27B 混合架构 LLM(含循环的 Gated DeltaNet 层)做全 NVFP4 W4A4 量化，发现长上下文与推理基准精度基本无损。
关键在于把离群值局部化，并利用 delta-rule 动力学的量化鲁棒性——说明混合架构中循环部分天生适合低比特量化，对端侧部署有实用意义。
所属事件:Minima 将 27B 混合大模型全层量化至 NVFP4(2 条相关)→
「Infra」频道最新
- 三星电机突入 Nvidia 基板供应链，台湾基板高管直呼意外 — zephyr_z9 · 2026-10-23
- AI agent 高频提交把 CI 账单从 $738 推到 $2400，开发者求省钱方案 — CellistOk6782 · 2026-10-23
- Suhail 高价收货:公开求购用于模型的 RL 内核优化任务 — AIFlow_ML · 2026-10-23
- GitHub 自述:99.99999% 仓库已迁至 Azure,按引用级仲裁解锁 agent 规模并发 — marlene_zw · 2026-10-23
- 黄仁勋到访阿斯塔纳，与哈萨克斯坦副总理畅谈 AI 国家战略 — nvidia · 2026-10-23
- 实测RTX 4060：FP16矩阵乘法并非恒快2倍，大矩阵提速约3.5倍 — cneuralnetwork · 2026-10-23