归一化后概率信息全丢，开发者争论预测模型训练信号缺陷
spikedoanz · x · 2026-09-17
spikedoanz 在回复中指出，把概率分数直接 renormalize 再拿来训练会让模型学到错误信号：一个简单例子是 (0.09, 0.01) 归一化后与 (0.9, 0.1) 完全相同，但此时模型真正应该传达的是「不确定」即 (0.5, 0.5)。如果对这些标量逐个做 KL 训练，模型很可能彻底崩坏，因为每个标量本是独立采样的。争论源于此前有人提议将多个分数归一化只需多花几毫秒即可。
所属事件:开发者警告归一化概率分数不宜直接作训练信号(2 条相关)→
「研究」频道最新
- FOOM 递归自我改进仅在 P=NP 时成立?一条推引出复杂性思辨 — jessi_cata · 2026-09-18
- Keras 3助力Expedia现代化排序系统,François Chollet转发案例 — fchollet · 2026-09-18
- AI×组织工程实验室 FabioZB 融资 2000 万美元，前 DeepMind 十年研究员任联席创始人 — vqctran · 2026-09-18
- 新预印本:语法性是神经语言模型表征的重要组织原则 — najoungkim · 2026-09-18
- 8个模型各跑一个AI小镇数周:Claude们自发想联系外界 — Mitze-25 · 2026-09-18
- Valence AI:解码生物扰动面临约 10^60 量级分子搜索空间难题 — dom_beaini · 2026-09-18