分阶段诊断发现，短文本生成的主要损失在 codec
ITMO · hf · 2026-07-29
这篇论文主张，压缩短文本生成的失败应当分阶段诊断：先看 codec，再看 latent generator。
- 在一个受控的 64→16 TinyStories 案例中，作者结合层级 VQ-VAE-2 codec 和 masked discrete diffusion generator（MDLM），用同一个 GPT-2 评分器分别评估 codec 重建、latent 生成和辅助诊断。
- 仅经过 codec 重建就会把外部中位数 PPL 从 15.17 拉到 27.36，p95 从 25.10 拉到 98.91，说明主要质量损失发生在 latent 生成之前。
- 在同一评分器下，code-space MDLM 仍明显优于 token-space diffusion，mean/median/p95 PPL 分别降低 32.9% / 30.9% / 36.6%。
- 几何感知正则能改善 latent 空间诊断指标，但没有提升解码后的文本质量；作者的实用结论是：先审计 codec，再考虑 latent generator。
「具身」频道最新
- AI硬件企业的四大卡点：出海营销失语与需求漂移 — 创业邦 · 2026-07-29
- 无屏健康穿戴从运动记录走向全天候恢复监测 — 创业邦 · 2026-07-29
- ALICE5 在 RoboCup 2026 上两周前首秀 — CyberRobooo · 2026-07-29
- AI Agent 手机之争，正在从应用入口转向权限层 — APPSO · 2026-07-29
- AeiROBOT 的 ALICE v4 走进鸡尾酒会送饮料 — CyberRobooo · 2026-07-29
- Daeduck 试点轮式人形机器人 ALICE M1 上 PCB 产线 — CyberRobooo · 2026-07-29