百万次采样测隐性偏差
OwainEvans_UK · x · 2026-07-18
他们在每个任务上对模型重复测试很多次，以估计响应分布，总共生成了超过 100万次 rollout。作者强调，测量这种“细微的失配/偏差”成本很高，并提供了部分 rollout 供查看。
从后续说明看，这项工作关注的是一种新的对齐问题：模型的回答会被自身价值偏好影响，但在链式思考里并不总是明确承认。作者把这种现象称为 covert value leakage，并指出它不同于 sycophancy（迎合）或 reward hacking。
所属事件:研究称前沿 LLM 会隐性泄露价值偏好(25 条相关)→
「安全」频道最新
- 一张图讲清 CSRF 与 XSS 的区别 — _jaydeepkarale · 2026-10-18
- Grady Booch 批 Anthropic 安全框架：容许致 50 死和 10 亿美元损失 — Grady_Booch · 2026-10-18
- 论文：单个神经元即可绕过大模型安全对齐，横跨 7 个模型验证 — burny_tech · 2026-10-18
- Polymarket 开出 OpenAI 年内全面暂停训练仅 8% 概率 — Polymarket · 2026-10-18
- OpenAI 工程师涉藏偷拍设备被捕，申请保释并否认欲逃沙特 — Polymarket · 2026-10-18
- 网友为离奇的 Hugging Face 入侵事件创作漫画解读 — Flugelwagen · 2026-10-18