kalomaze：直通估计器在二值权重反向传播下其实完全可用
kalomaze · x · 2026-09-30
kalomaze 回应关于 straight-through estimator（STE）的质疑，指出即使在对权重做二值化的情况下，STE 在反向传播中也确实可用。他进一步举例：STE 甚至能用于在瓶颈处学习二值潜空间的自编码器，并推荐参考 LFQ（lookup-free quantization）和 BitNet 系列论文。
「研究」频道最新
- Terminal-Bench 观察引出新视角：模型失败未必是能力不行 — abeirami · 2026-09-30
- NVIDIA 开源 Physis-Lang：给视频世界模型补物理课，登顶 Physics-IQ 榜 — NVIDIAAI · 2026-09-30
- 激光照射 Kapton 胶带造出石墨烯，装上 3D 打印机可精确加工 — johnowhitaker · 2026-09-30
- COLM 论文:去掉 AI 腔,仅凭叙事选择也能识破 AI 写的小说 — MohitIyyer · 2026-09-30
- CMU 研究探讨内容创作者如何负责任地使用生成式 AI — steph_milani · 2026-09-30
- 自动化实验加速药物研发?研究者警告:自动化也可能放大错误的检测方法 — Ghost_Pilot_MD · 2026-09-30