Transformers 本质是采样器：代码重试开销大，形式化难降失败率
gerardsans · x · 2026-10-23
一场关于 LLM 代码生成能力上限的技术讨论。
- 原帖观点:当前 LLM 基于开放的自然语言架构,却要同时处理写莎士比亚和写 Python 两类截然不同的任务;编程是规则严格、语法精确的领域,但底层架构从未为它改变。
- 回应反驳:Transformers 本质是采样器——生成 N 个样本中有 k 个失败,工程上的 harness 帮你重试,实际上是在代码生成中引入了可观的额外开销。流程是「采样→验证→重试」,而形式化(formalisation)并不能改变失败率本身。
- 核心论点:靠语言模型架构做严格规则性的编程任务,失败率是结构性的,工程包装无法根治。
所属事件:LLM 代码生成之争：Transformer 本质只是采样器(3 条相关)→
「漫话AGI」频道最新
- svpino:纯写代码技能价值暴跌，程序员须转向架构与解决问题 — AIandDesign · 2026-10-23
- 实测100次选数：Claude Opus 5.5次次答7,AI趋同远超人类 — jbarbier · 2026-10-23
- 「怕被起诉才不加速」站不住脚：AI 公司抓取网页时可没怕过 — NathanpmYoung · 2026-10-23
- 把《软雨》改写成 agent 蜂群版:主人不再回复的一天 — moultano · 2026-10-23
- 数据归档老玩家的预言：GPT-3 出现那刻他懂了"很快就会合法化" — secemp9 · 2026-10-23
- 「书籍将死」被喊了 500 年：从 1492 年到今天市场仍年增 5% — RachelVT42 · 2026-10-23