师-生训练架构揭秘：隐状态传输仅致轻微陈旧，融合分块反向核保吞吐
brandondamos · x · 2026-11-08
brandondamos 解释其师-生（teacher-trainer）训练架构为何能保持与 Monte Carlo KL 估计相同的速度：在教师与训练器之间传输隐状态会给所有轨迹带来轻微陈旧性，但不影响生成或教师标注的吞吐；训练器侧的融合分块反向内核（fused blockwise reverse kernel）在内存和计算上都高效。
「研究」频道最新
- LSA 论文：稀疏注意力索引占预填充 98% 耗时，10M 上下文提速 22.7 倍 — burny_tech · 2026-11-08
- 双指数外推：模型时间视野2027年底或达80个工作年，倍增周期约2个月 — scaling01 · 2026-11-08
- ACM 允许作者公开匿名评审意见,众包审稿库无制度障碍 — IanArawjo · 2026-11-08
- CHI 研究者倡议建公开评审库:用 LLM 审稿应被禁赛 — IanArawjo · 2026-11-08
- AI 能力增速是场拔河:「AI 改进 AI」对撞「边际递减」 — CFGeek · 2026-11-08
- Agent S4:让智能体从任务经验中自进化可复用交互接口 — burkov · 2026-11-08