姚顺雨内部分享笔记流出:小模型体系、RSI 与小实验陷阱
yangyi · x · 2026-11-20
一份姚顺雨的闭门分享笔记(据称来自清华朋友渠道)流传,要点包括:
- 小模型体系:AI for AI 会推动小模型发展——训练小模型算力少、可做更多实验。未来可能先训一个强基座大模型,再蒸馏出适配不同任务的尺寸,形成 Model Hierarchy;模型价值越来越取决于能否以合适成本匹配具体任务。
- 非文本工业数据:时间序列、临床数据、结构化表格等模态直接训原生模型常推理不足;两条路径是让 Agent 调用图表/专业工具,或将专业数据作为知识纳入模型体系。
- RSI 本质朴素:递归自我改进就是用 AI 更好地运行研发循环——修 Bug、清洗数据、跑实验、Debug;自动化研发有大量工程机会,尤其是让模型参与下一轮数据生产、实验验证和代码改进的闭环。
- 小实验的噪声陷阱:他博士后期曾把 ReAct 融入模型,在 Llama 13B 上效果很差,后来意识到是模型规模不足以体现方向价值;算力不足时噪声会掩盖信号,甚至让人误判什么问题值得做。需要结合理论推导与小实验预测大规模结果。
- 预训练数据竞争未结束:代码等高质量数据成本高需重复使用,难点是如何复用而不让模型简单记忆(原文在此截断)。
「漫话AGI」频道最新
- Sam Altman 警告:未来四年不能再按过去四年的方式运营 — haider1 · 2026-11-20
- 智能体换世之际:有人定道德范式,有人负责与 AI 对话 — danfaggella · 2026-11-20
- 宇宙比我们能想象的更奇怪:Haldane 名言呼应 AGI 十年预言 — coherence · 2026-11-20
- EA 社区反歧视项目陷入 drama:举报人称遭报复性长文攻击 — ShakeelHashim · 2026-11-20
- 机器人投资人预判:2027 是基建年,延迟是通用 LLM 落地机器人最大缺口 — paigeinsf · 2026-11-20
- Polymarket 开盘赌 2026 年 AI 能解哪些数学难题 — Polymarket · 2026-11-20