实验揭示模拟硬件噪声影响：准确率呈断崖式下降
Georgiou1226 · reddit · 2026-08-09
模拟存内计算（Analog in-memory compute）因能降低搬运权重的能耗成本而重新受到关注，但其面临模拟单元物理噪声的挑战。作者通过实验探究了噪声对模型精度的影响曲线。
- 实验发现：精度的退化并非平滑过程，而是存在阈值效应。在权重噪声增加到特定程度前，精度保持稳定；一旦突破阈值，准确率会急剧下降（从 83% 跌至 64%，最终近乎随机猜测）。
- 噪声训练：在训练阶段注入噪声（迫使优化器寻找更平缓的最小值）能显著将该崩溃阈值向后推移。在相同的噪声水平下，经过噪声训练的模型准确率达到了 61%，远高于常规训练的 39%。
作者呼吁社区探讨“平缓最小值”是否为准确解释机制，以及是否有直接针对硬件实际噪声特征进行优化的显式方法。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16