Sakana 新论文：分块训练网络，显存最多省四分之三
z_latent · reddit · 2026-08-21
Sakana AI 在 ICLR 2026 发表 DiffusionBlocks：把网络的前向过程视作扩散模型对信号去噪，从而将深度网络拆成多个块、每次只训练一个孤立块，摆脱端到端反向传播需要整网驻留显存的限制。
要点：
- 在 ViT、DiT 与 LLM 上匹配端到端训练的性能；
- 若能规模化，权重、梯度、优化器状态与激活的显存可全面节省约 3-4 倍；
- 训练更易并行、通信更少，还可能改进 Looped Transformer 训练与扩散模型推理效率。
社区关注点是该方法能否在更大规模上成立。技术博客见 pub.sakana.ai/diffusionblocks。
「研究」频道最新
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16