LessWrong 长文拆解「可验证 vs 模糊任务」:这个二分法本身有问题
dfrsrchtwts · x · 2026-11-12
maxnadeau 在 LessWrong 的 Shortform 中反驳流行的「AI 在可验证任务上进步快、在模糊任务上进步慢」的说法,认为「可验证/模糊」这对抽象概念对不同人含义差异太大,建议换成更具体的区分:
- 评分便宜 vs 评分昂贵:能否低成本地为 AI 提供任务入口并评估其表现。极端例子是「用 Lean 证明这个猜想」便宜,而需要人工长时间评估或等待真实世界反馈的任务昂贵。
- 数字任务 vs 真实世界任务:能否完全在计算机内完成并评估,经济学家更偏好这个区分。
- 客观任务 vs 主观任务:如「这是不是好艺术」。
作者的 steelman 只认可「评分成本」这一区分,并预期未来一年昂贵评分任务也将因 RSI 驱动快速进步。补充论据很有信息量:LLM 控制机器人虽在真实世界但评分便宜所以进步快;发展中国家低薪人工给危害性输出打分,主观但便宜所以模型进步快;Redwood 的 Conceptual Reasoning Index 主观但因专家标注一致性高而可全自动运行,模型在其上持续进步;而长程预测、前沿预训练研究、靠数字工作真正赚钱这类任务虽「可验证」却评分昂贵,模型在这些任务上尚无人类水平。
「漫话AGI」频道最新
- 斯坦福 HAI:56 个联邦机构报 3611 项 AI 用例,评估蓝图出炉 — StanfordHAI · 2026-11-12
- AI 会大幅减少生物实验?反驳:未映射的信号通路仍需湿实验证伪 — francoisfleuret · 2026-11-12
- Recursive 谈开放式研究:像agent科学家社群一样并行做海量实验 — agihouse_org · 2026-11-12
- Tim Shi 剖析递归自我改进:从学数据到发现新架构的四层路径 — agihouse_org · 2026-11-12
- 新长文:设计本质是搜索问题,AI 让探索更快但未必更优 — round · 2026-11-12
- 对齐良好的 AI 陪伴或是净收益,一禁了之的反效果引争论 — random_walker · 2026-11-12