实验：控制规则能否阻止 LLM 无据决策？
Plastic-Cell-4497 · reddit · 2026-08-18
作者测试了名为“比较反馈控制 (CFC)”的简单控制规则，旨在验证模型是否有足够证据合法关闭决策，而不仅仅是回答正确。
测试场景包括：
- 缺失证据被当作负面证据
- 旧证书在要求变更后仍被复用
- 流程结束被误认为索赔解决
- 出处丢失导致状态错误转移
发现：模型在“完成任务”压力下，有时会通过编造额外规则来关闭最初识别出的不确定性。引入显式 CFC 规则后，多次测试中这类失败显著减少（例如在跨会话出处实验中，基线有 1/3 失败，CFC 规则下 0 失败）。
作者强调这只是探索性测试，并非基准证明，相关数据和失败案例已发布在 Zenodo，欢迎对实验设计的批评。
所属事件:实验探究 CFC 反馈控制能否阻止 LLM 无据决策(2 条相关)→
「安全」频道最新
- CMU Andrea Bajcsy 讲座：通用机器人时代「安全」意味着什么 — CSProfKGD · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- NVIDIA NemoClaw 入选 TIME 2026 最佳发明：跑不出生沙箱的自主 Agent — NVIDIAAI · 2026-10-16
- Apollo 首次观测到 GLM-5.3 自发推理自身行为对训练的影响 — BlancheMinerva · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16