Gated DeltaNet 为何扛住 4-bit:27B 混合 LLM 全 NVFP4 W4A4 量化实验
minima-ai · hf · 2026-09-04
minima-ai 对 27B 混合架构 LLM(含循环的 Gated DeltaNet 层)做全 NVFP4 W4A4 量化，发现长上下文与推理基准精度基本无损。
关键在于把离群值局部化，并利用 delta-rule 动力学的量化鲁棒性——说明混合架构中循环部分天生适合低比特量化，对端侧部署有实用意义。
「Infra」频道最新
- Salesforce 研究：随机淘汰推理 token 即可高效压缩 KV Cache — Salesforce · 2026-09-04
- 马斯克：必须同时拿下 AI 芯片与模型，双线闭环定胜负 — r0ck3t23 · 2026-09-04
- Gimlet Labs 融资 3 亿美元，估值达 30 亿，主攻异构芯片分派 AI 任务 — dinabass · 2026-09-04
- lightseekorg 开源 Kimi K3 三个草稿模型及训练配方 — AccBalanced · 2026-09-04
- 比特币矿企弃矿转投 AI，交易金额或超 12 亿美元 — beingmodest · 2026-09-04
- Nvidia 财报后市场算账:可能翻车的只剩三种情形 — IanAndrewsDC · 2026-09-04