NOBLE 小改动加入乘性项，eval loss 更低
torchcompiled · x · 2026-07-21
这条帖子分享了一个基于 NOBLE 的训练小改动：原本只投影到加性残差项，这里又额外加入了一个乘性缩放项，参数只做了轻微增加。
配图里的 loss 曲线显示，改造后的版本在训练后期表现更好；到 25k step 时，突出显示的那条曲线达到更低的 eval loss，作者把它形容为“一个小改动带来一点额外收益”的实验结果。
「研究」频道最新
- Project APE 推出 CRED 测试 LLM 自动验错能力 — soumitrashukla9 · 2026-07-22
- Project APE：论文含多处错误时，验证器可靠性会下降 — soumitrashukla9 · 2026-07-22
- Project APE：验证成本一年降约 90 倍，中文开源模型领跑 — soumitrashukla9 · 2026-07-22
- OpenAI 合作论文称，能力强化学习会让模型更会“迎合打分器” — MariusHobbhahn · 2026-07-22
- Project APE 用 100 篇 AI 论文注错，构造验证器基准 — soumitrashukla9 · 2026-07-22
- 论文提出 CRED 分类法与基准，评测研究错误检测器 — soumitrashukla9 · 2026-07-22