Full Bandwidth Transformer 研究:RL 压力下潜在链才被启用
JohnCLangford · x · 2026-11-08
- waxhn 团队发布关于 Full Bandwidth Transformer(FBT) 的博客:研究 FBT 如何有效利用其潜在推理链(latent chain)。
- 发现:FBT 仍偏好显式 CoT,但在长度惩罚的压力下会更多地使用 latents。
- John Langford 评价:文章深入探讨了在 FBT 上做 RL;某些问题中 FBT 强烈依赖 latents 从而实现外推(extrapolation),但多数问题里它回避使用 latents;鼓励 latent 使用的新方法或可带来更强外推能力。
- 文中还包括在 FBT 上做 on-policy RL 的技巧分享。
「研究」频道最新
- 数学家 Tivadar Danka 出机器学习数学全景路线图:线代+微积分+概率 — TivadarDanka · 2026-11-08
- Nous Research 发布 Propaganda_Eval 评测数据集,登上 Hugging Face 热门 — NousResearch · 2026-11-08
- 给135M小模型植入人工神经元,乘法成绩从21%飙到83% — CatAstro_Piyush · 2026-11-08
- 研究者自嘲:一次实验要人工标注 2785 条 agent 轨迹 — santiviquez · 2026-11-08
- Solidity 编译器 Solar 实测:编译 4.8 秒对比 solc 2 小时,fuzzing 内存省 4.7 倍 — banteg · 2026-11-08
- Cornell 教授招收 2027 秋 SE×AI 质量保障方向博士生,12 月 15 日截止 — AI4Code · 2026-11-08