观点：掩码语言建模是历史弯路，本可直奔自回归
jxmnop · x · 2026-08-04
一位 AI 研究者提出，回顾模型架构的发展史，掩码语言建模（MLM，如 BERT 采用的机制）在构造上其实有些勉强。他认为在大多数平行宇宙中，领域内可能根本不需要经历这个阶段，而是会直接跳跃到如今主流的自回归（Autoregressive）路线上。
「模型」频道最新
- 分析 Kimi-K3 开源：权重不再是壁垒，数据飞轮才是 — karminski3 · 2026-08-04
- 中美大模型价格战：美国前沿大厂突然大谈「效率」 — deliprao · 2026-08-04
- Qwen 3.8 编码实测：性能逼近 K3 且价格仅一半 — bindureddy · 2026-08-04
- Fable 与 Gemini 视觉模型被地名误导，地理识别翻车 — HanchungLee · 2026-08-04
- DeepMind 发布 DiffusionGemma：扩散模型实现极速文本生成 — deepmind · 2026-08-04
- 腾讯押注 2950 亿参数 MoE 模型 Hy3，主打智能体能力 — emmanuelvivier · 2026-08-04