研究者:让大佬 RLHF 自己的研究品味进模型,无法外推到全自动 AI 研究员
herbiebradley · x · 2026-11-11
herbiebradley 论证「用 AI 研究品味标准差来参数化 TED-AI(自动化 AI 研究员)的时间线」并不可行:近期关于如何让模型习得研究品味的讨论中,流行做法是让顶级研究员花大量小时数通过 RLHF 把自己的研究品味灌进模型(如 Schulman 在 Dwarkesh 播客中提到的方案)。
他指出,这一技术明确无法推广到全自动 AI 研究员的场景,并提到自己与 Eli 的一次长讨论触及了双方的关键分歧:AI 研究与 TED-AI 之间的差距如何参数化。
所属事件:研究者质疑用研究品味参数化自动化 AI 研究时间线(2 条相关)→
「漫话AGI」频道最新
- L Somerset 提出「内侧 vs 外侧」框架：哪种智能体交互方式更优 — SucceededMind · 2026-11-11
- Josh Siegle 提议建「细胞类型版 ImageNet」打通神经活动与细胞身份 — patrickmineault · 2026-11-11
- LessWrong 实证研究:LLM 的「刷分行为」(score-seeking) — jessi_cata · 2026-11-11
- Noema 长文:单个模型守规矩不够,AI 智能体群体的安全取决于共享环境 — lawhsw · 2026-11-11
- 艺术家长文:让智能体参与创意决策的「协作思考模型」 — round · 2026-11-11
- Asterisk 新文:进化人文主义能扛住 AI 的祛魅挑战吗 — round · 2026-11-11