姚顺雨清华对谈:混元训练法、刷榜之弊与具身智能的 GPT-3.5 时刻
量子位 · wechat · 2026-11-20
姚顺雨回母校清华与本科同学吕凯风对谈两个多小时,谈及腾讯混元大模型研发的方方面面。
造模型的方法论
- 预训练采用「Scaling Ladder」:先在多个小规模上跑实验,验证改动放大后是否仍有收益,再推到大模型。
- 数据方面担心稀缺数据重复导致记忆,可合成数据但要保质量,配比也需先小后大实验。
- 后训练回归朴素的 Policy Gradient(含 GRPO),因为假设少、易随规模扩大;评测要先于训练数据设计,并反映真实用户任务。
反刷榜与组织文化
- 「把榜单刷过拟合,最先吃亏的是自己」;混元招人强调 LowEgo、诚实、踏实,建立基于 Taste 和 Trust 的文化。
- 指出若模型与 GPT/Claude 差不多强但收入只有百分之一,就该反思产品环节出了问题。
行业判断
- 具身智能可能迎来自己的「GPT-3.5 时刻」,也许半年也许一年;垂类模型受限于真机数据采集速度,可扩展性决定路线成败。
- 小模型离上限还早,数据墙短期未见;长期看算力未必是中美差距的决定因素,数据与物理环境更关键。
- 创业自测题:「如果下一代 GPT 明天就发,你今晚睡得更香还是睡不着?」
开源安全
- 区分 Safety(模型自身危险行为)与 Security(被人滥用),认为当前更急的是后者;负责任的开源要在训练、评测、部署三层提前布局,安全工具应优先供防守者使用。
访谈还涉及 AI 参与 AI 对齐、递归自我改进与架构局限等内容。
「漫话AGI」频道最新
- AI 让小生意更好做,但大而持久的公司更难建了吗 — vaibhavbetter · 2026-11-20
- 美中占全球 AI 模型 74%,其他国家面临技术依赖隐忧 — mikeflache · 2026-11-20
- Google 发现首个全程无人工参与的自主攻击系统 exploit_agent — mikeflache · 2026-11-20
- Nokia Bell Labs 拟办讲座:AI 如何重构工作任务与岗位结构 — danielequercia · 2026-11-20
- Anthropic 5300 名员工身家超美国最穷三分之一家庭 — jathansadowski · 2026-11-20
- rez0 调侃 AI 存在风险派:无论结果如何都对 — rez0__ · 2026-11-20