Colab 免费炼丹：自研循环 LM 节省 40% 算力
Flashy-Abalone-9212 · reddit · 2026-08-20
开发者在 Google Colab 免费 GPU 上实验构建循环语言模型（Loop LM），旨在通过复用同一 Transformer 层多次来增加计算深度而非物理深度。
架构与实验
- 模型包含 6 层 Transformer，设置 4 个循环路径。
- 结合了稀疏注意力、压缩注意力、稀疏 MoE 以及自适应退出门机制。
- 尝试引入基于扩散的优化方法（未完成）。
训练策略
- 第一阶段强制执行所有 4 个循环，确保每层获得训练信号。
- 第二阶段冻结 LM，单独训练仅含 513 个参数的退出门。
结果
- 在验证集上，带退出门的模型损失与全 4 循环模型几乎持平（差异 +0.015%）。
- 平均循环深度降至 2.41 次，估计节省约 39.75% 的计算量。
- 退出分布：59% 在循环 2 退出，41% 在循环 3 退出。
「编程与Agent」频道最新
- DimAgent 正式集成至 Multica，自动化目标一周内完成 — jiayuan_jy · 2026-08-20
- 编程体验：用 ChatGPT 语音过代码 Diff 极其高效 — athyuttamre · 2026-08-20
- 选闭源按用户计费，还是开源分布式 Agent？ — jasonkneen · 2026-08-20
- 开源工具：CLI 一键将文档转为知识图谱 — tom_doerr · 2026-08-20
- Agent桌面应用纷纷弃Tauri回Electron，现实压倒氛围 — dotey · 2026-08-20
- 开源工作流平台 n8n，可视化构建 AI 智能体与自动化 — goyalshaliniuk · 2026-08-20