Nemotron 量化细节更新
nrehiew_ · x · 2026-07-13
作者在补充一项与 **Nemotron** 相关的量化策略： - **最后 15%** 的部分保留为 **bf16** - **shared expert** 也保留在 bf16 中 - 下一步目标是把表示范围缩到 **±4**，以降低最大相对误差 - 对激活值和权重，会同时计算多种方案，再选**表示误差最小**的那个 - 但这样做的代价是**算得更贵**，所以需要依赖 kernel 层优化 这是一条偏工程实现细节的研究/训练笔记。
所属事件:4bit量化训练与Nemotron细节更新(2 条相关)→
「研究」频道最新
- 把数据集打包成顺序 blob，训练吞吐提升 30% — irinarish · 2026-07-21
- UIUC 提出 AgentPrimitives：多智能体的可复用潜在积木 — 机器之心 · 2026-07-21
- 一个 C++20 CPU 原生 strict-W1 训练 runtime 寻求反馈 — Wonderful-Income7415 · 2026-07-21
- 微软提出像训练神经网络一样训练 agent 技能 — Saboo_Shubham_ · 2026-07-21
- 研究者：AI 应是放大器，而不是放弃科研的理由 — omarsar0 · 2026-07-21
- 海森矩阵入门：二阶导数如何影响神经网络优化 — burny_tech · 2026-07-21