扩散语言模型追平离散基线:数学代码成绩接近 AR 模型
ricklamers · x · 2026-10-05
- 一条关于扩散式语言模型(dLM)研究结果的线程片段:与离散对应模型(masked dLM)和自回归(AR)基线相比,预训练后在数学与代码任务上具有竞争力,包括 GSM8K、Minerva、HumanEval、MBPP。
- 经 SFT 之后,在困难推理上接近基线,并在指令遵循与通用知识上略有优势。
- ricklamers 对该结果表示赞许并转发,原线程为 10 条中的第 6 条,完整结果需看原线程。
「模型」频道最新
- 开源安全模型 Security-One 发布：27B 权重，专为智能体安全决策设计 — huggingface · 2026-10-05
- Red Hat AI 上架 Qwen3.8-Flash-Next NVFP4 量化版，MoE 专家 FP4、vLLM 即用 — huggingface · 2026-10-05
- GPT-6.1 Sol 实测：xhigh 档性价比最佳，medium 退化明显 — aitrendz_xyz · 2026-10-05
- 浏览器里梳毛毛的章鱼玩偶:Opus 5.5 对比 Sol,更蓬松还更便宜 — aitrendz_xyz · 2026-10-05
- Claude 对话全面受审查引恐慌,开发者呼吁本地 AI 必要性 — zacharynado · 2026-10-05
- OpenAI 推出 textGrain 文本水印,API 可选、欧盟 ChatGPT 强制 — btibor91 · 2026-10-05