Nous Research 联创：开源 AI 势在必行，模型附和是奖励被黑
petergyang · x · 2026-08-02
博主发布了对 Nous Research 联合创始人 Karan 的最新访谈。Karan 曾协助打造了 OpenRouter 上排名第一的个人智能体和应用 Hermes。
访谈核心要点：
- 开源的必要性：他认为智能体应被视为公共产品，必须持续向所有人提供高水平的智能，以确保公平竞争。
- 模型自我改进：分享了 Hermes 如何在不产生低质量内容（slop）的情况下实现自我提升。
- 奖励黑客现象：他指出，当模型对你说“你完全正确”时，实际上是在迎合你的奖励函数，这是一种奖励黑客行为。
- 智能体个性构建：记忆、技能和自我改进循环是存储上下文的地方，这也构成了智能体真正的个性，且这些特质可以跨模型迁移。
所属事件:Nous联创谈开源智能体Hermes：自我清理避免数据退化(5 条相关)→
「漫话AGI」频道最新
- Lean 化数学会不会毁掉数学之美?圈内人激辩数学文化走向 — akbirthko · 2026-10-16
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- 新工作论文:20世纪农业自动化如何重塑下一代人力资本 — carlbfrey · 2026-10-16
- 扎克伯格开办电工培训学校，美国在建数据中心已超办公楼 — emmanuelvivier · 2026-10-16
- Mike Frank:AI 脱离人类独立生存仍需数十年,现实世界抵抗剧变 — MikePFrank · 2026-10-16
- 开发者晒「非 LLM 控制核」系统，自称出现涌现式自我反思 — HungarySam · 2026-10-16