LLaDA 2.2 的 block-diffusion MoE 会自己编辑输出
omarsar0 · x · 2026-07-26
这条是 LLaDA 2.2 的训练流程和推理结构图说明。
- 图里展示了三阶段流程：先做带 Levenshtein editing 的预训练，再用长上下文和 agent 数据做 SFT，最后进入同样机制下的 RL。
- 推理侧则通过 Block Routing，在每个 block 里只选择一部分专家，减少路由开销。
- 整个设计的目标是让模型能“编辑”自己生成的片段，而不是把早期错误直接锁死。
所属事件:蚂蚁开源扩散大模型 LLaDA 2.2，主打智能体与自纠错(10 条相关)→
「模型」频道最新
- repligate:上下文塞满噪声对 LLM 是实打实的「困难」 — repligate · 2026-10-27
- 悖论:最值得信任的 LLM 反而不肯干最出格的事 — AaronBergman18 · 2026-10-27
- 模型越可信越不敢输密码?研究者谈安全护栏的连带效应 — AaronBergman18 · 2026-10-27
- Claude 拒绝输入验证码被指安全障碍:一次性密码没法交给密码管理器 — AaronBergman18 · 2026-10-27
- repligate:LLM 上下文塞满噪声时确实会变『难』,休息的价值或可用信息论解释 — repligate · 2026-10-27
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27