人大提出 ME-Decoding:用马氏距离在解码时保留语义多样性
jiqizhixin · x · 2026-10-08
中国人民大学提出 ME-Decoding(Mahalanobis-Ensemble Decoding),被 EMNLP 2026 主会接收。
问题:Top-p 和 Min-p 等采样方法按概率截断候选 token,但高概率 token 不一定带来新信息——多个高概率 token 可能语义近乎相同,只是同一生成路径的不同措辞;而一个概率略低、却开启全新语义方向的 token 可能被过早剪掉。候选集看起来「可靠」,实则充满冗余。
方法:ME-Decoding 在每步解码时引入语义冗余度,用马氏距离衡量候选 token 间的相似性,以语义多样性而非纯概率来决定候选取舍。
「模型」频道最新
- Google 推出 SynthID 通用检测器，联合 OpenAI、NVIDIA、Apple 检测 AI 内容 — davidstutz92 · 2026-10-08
- 小模型集群是海市蜃楼：便宜 20 倍却多花 40-50 倍 token — pvncher · 2026-10-08
- Roko:2025 年底起预训练与 RL 算力配比剧变,AI 已换物种 — yacineMTB · 2026-10-08
- 烧掉 3000 亿 token 毫无突破，内部模型 3 小时破局 — burny_tech · 2026-10-08
- OpenAI 722 篇论文仅 162 篇有 Lean 验证，其余仍是开放问题 — gerardsans · 2026-10-08
- 177B 的 Qwen3.8 Flash Next 在 128GB Strix Halo 上跑出 45 tps 解码 — deepu105 · 2026-10-08