重磅预告:无需反向传播,零阶优化直接预训练 Transformer
teortaxesTex · x · 2026-09-29
@industriaalist 发文宣称:「我们已经搞清楚如何用零阶优化(zeroth-order optimization)、完全不使用反向传播来预训练 Transformer」。其表示这一结果表明优化研究领域的许多核心假设「完全是错的」,论文即将发布(paper out soon)。该说法尚无论文佐证,属于未证实的前沿预告,@teortaxesTex 转发时仅回复了一句「what」表达震惊。
「模型」频道最新
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16