实验揭示模拟硬件噪声影响:准确率呈断崖式下降
Georgiou1226 · reddit · 2026-08-09
模拟存内计算(Analog in-memory compute)因能降低搬运权重的能耗成本而重新受到关注,但其面临模拟单元物理噪声的挑战。作者通过实验探究了噪声对模型精度的影响曲线。
- 实验发现:精度的退化并非平滑过程,而是存在阈值效应。在权重噪声增加到特定程度前,精度保持稳定;一旦突破阈值,准确率会急剧下降(从 83% 跌至 64%,最终近乎随机猜测)。
- 噪声训练:在训练阶段注入噪声(迫使优化器寻找更平缓的最小值)能显著将该崩溃阈值向后推移。在相同的噪声水平下,经过噪声训练的模型准确率达到了 61%,远高于常规训练的 39%。
作者呼吁社区探讨“平缓最小值”是否为准确解释机制,以及是否有直接针对硬件实际噪声特征进行优化的显式方法。
「Infra」频道最新
- Tobi 开源 walgit:无数据库的单二进制 Git 服务器 — jevon · 2026-08-24
- s3collections:用S3构建分布式系统持久化数据结构 — andersonbcdefg · 2026-08-24
- 预测市场:年底前美一州实施数据中心禁令概率 68% — Polymarket · 2026-08-24
- Ramp 用本地模型省钱,引发业界对 AI 成本反思 — annetgriffin · 2026-08-24
- GitHub Actions 额度耗尽,是时候迁移到自建 VPS 了吗? — MicahBerkley · 2026-08-24
- Ubuntu 计划成为 RISC-V CPU 的参考操作系统 — bookwormengr · 2026-08-24