模型为何更爱编造
EXM7777 · x · 2026-07-13
帖主转述一段观点：模型之所以容易“编造”，与训练奖励机制有关——正确答案和带来源的回答会得到更高分，而在不确定时直接说“我不知道”往往得不到奖励，久而久之模型更倾向于先给出看起来像真的内容。 他进一步把这个问题上升到自主智能体：如果一个 agent 不能识别自己何时不确定，就不适合独立行动。帖主认为当前真正的瓶颈不是“聪明不聪明”，而是能否输出带置信度的决策，并在低置信度时自动交给人类处理。引用中提到的产品 Sage 也正是围绕“决策模型”和低置信度升级机制来设计的。