博主解读稀疏注意力训练信号：无需稠密热身或预示训练范式转变
stochasticchasm · x · 2026-09-11
博主 stochasticchasm 讨论稀疏注意力训练进展：当稀疏注意力版本不再需要稠密注意力热身阶段，是好信号。长上下文预训练很可能由更低的 prefill FLOPs 所支撑，而且更早引入类 agent 轨迹数据在训练中也可行——意味着 midtraining 阶段正在被吸收。前文提到 engram 模块进入模型、mHC 的简化（mega-mHC），并猜测是否在预训练中使用了 dspark，答案有待论文揭晓。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「研究」频道最新
- 开源决策模型打《红色警戒2》：先卖基地后自瞄自炸，训练后无人能敌 — heathercmiller · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Mathathon 2.0 启动：与陶哲轩 SAIR 合作，团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在：两类 ML 问题应分而治之 — mike64_t · 2026-10-27