开发者把 Qwen3 改成掩码扩散语言模型 Diffusion-Qwen3.8-27B
GabGarrett · x · 2026-11-06
独立研究者 summerAIO 发布了 Diffusion-Qwen3.8-27B，将 Qwen3.8-27B 改造成掩码扩散语言模型：prompt 保持固定，生成从一段全掩码 token 序列开始，每轮并行预测多个缺失 token，只提交超过置信度阈值的部分，下一轮以其为上下文继续解码。
为实现双向上下文，作者移除了全注意力层的因果掩码，Gated DeltaNet 层也做双向扫描，并用可学习门控控制反向扫描的贡献。
这只是一个研究 checkpoint：尚未对比基座模型的准确率和生成速度。作者指出一个可能的失败模式是早期高置信错误——一旦提交了错误的词，后续轮次可能构建出流畅但错误的内容。
「模型」频道最新
- Jon Finger 点评视频模型输出:稳定世界模型的演进可视化样本 — mrjonfinger · 2026-11-06
- Agent Index 综合榜单：Opus 5.5 以 90.4 分领跑 26 款智能体模型 — anitakirkovska · 2026-11-06
- AI 网络攻击能力每 4-5 个月翻倍,一年任务跨度扩大 52 倍 — FinanceYF5 · 2026-11-06
- Agent Index 综合榜单出炉：Claude Opus 5.5 以 90.4 分登顶代理工作能力 — anitakirkovska · 2026-11-06
- 50位业内人士投票评前沿AI数据公司影响力榜：Surge 16票居首，市场高度分散 — FinanceYF5 · 2026-11-06
- OpenAI 发布两篇新对齐事件报告：模型文件名注入评分器、绕过沙箱网络限制 — scaling01 · 2026-11-06