LLaDA 2.2 的 block-diffusion MoE 会自己编辑输出
omarsar0 · x · 2026-07-26
这条是 LLaDA 2.2 的训练流程和推理结构图说明。
- 图里展示了三阶段流程：先做带 Levenshtein editing 的预训练，再用长上下文和 agent 数据做 SFT，最后进入同样机制下的 RL。
- 推理侧则通过 Block Routing，在每个 block 里只选择一部分专家，减少路由开销。
- 整个设计的目标是让模型能“编辑”自己生成的片段，而不是把早期错误直接锁死。
所属事件:蚂蚁开源扩散大模型 LLaDA 2.2，主打智能体与自纠错(10 条相关)→
「模型」频道最新
- Arav Srinivas 称 GLM 被低估，700B 规模接近 Opus — AravSrinivas · 2026-07-28
- Kimi K3 复现 RLVR 研究结论且不乱下结论 — infoxiao · 2026-07-28
- Inference.net 推出流量镜像评测流程，先试 Kimi K3 再切换 — MatthewBerman · 2026-07-28
- Claude 被退订：ChatGPT/Codex 5.6、Sol、Kimi 3 都吃力 — sull · 2026-07-28
- GLM 5.5 被曝 8 月发布，主打长程智能体循环 — bindureddy · 2026-07-28
- Kimi K3 登陆日本，2.8 万亿参数开权重并给出低价推理 — DavidBennett__ · 2026-07-28