新论文量化「说不清的概念」：1270 个概念中 65 个永远无法用语言教会 LLM
sanmikoyejo · x · 2026-10-31
Alexander Spangher 等人（合作者含 Sanmi Koyejo、Diyi Yang、Noah Goodman）发布新工作 Articulation Upper Bounds，提出一个 SOTA 的 prompt 优化框架，以及一种无需人工标注的 prompt 表现度量方法。
核心思路：一个「发送方」LLM 写 prompt 向「接收方」LLM 传递某个概念，接收方根据 (样本, 标注) 反推 prompt 并重新标注，通过对比两组标注的一致程度来衡量概念是否被成功传达。该指标比自一致性、LLM 自评等常见无监督指标更有用，且在有人工标签时与人类判断高度吻合。
Scaling 发现：对 1,270 个概念拟合观测性 scaling law 后，概念可表达性分三类：
- 321 个概念当前模型已可表达（达到阈值），多为局部、自包含的模式；
- 884 个概念随模型规模增长终将可表达（上升中），多为全文结构性模式（如世界观连贯性）；
- 65 个概念无论模型多大都无法表达（曲线有界），典型是与身份和社群认同绑定的概念，如「漫画式笔触」、圈内梗等。
意义：模型学不会的那些「说不清」的概念，恰恰是品味、多元对齐、科学发现等前沿任务最需要的，这对未来的 rubric 设计和学习策略有重要启示。
所属事件:新论文实测 1270 个概念：65 个无法用语言教会 LLM(2 条相关)→
「漫话AGI」频道最新
- 「机械拟态」:当隐喻从机器像人变成人像机器 — PierceLilholt · 2026-10-31
- 「数学人力优势被美国模型抹平」：一场关于中美 AI 竞争力的争论 — teortaxesTex · 2026-10-31
- Andrew Carr：强先验加 RL 能解推理数学 3D 视觉，唯独写不好笑话 — andrew_n_carr · 2026-10-31
- 自动驾驶二十年没做好，凭什么相信 AGI 就快到了 — teortaxesTex · 2026-10-31
- Reddit 网友调侃：说好的递归自我改进，怎么还要先融资？ — Sensualities · 2026-10-31
- Protocol Labs 创始人：脑机接口正处于 2019 年 AI 的爆发前夜 — juanbenet · 2026-10-31