Nous Research 联创:开源 AI 势在必行,模型附和是奖励被黑
petergyang · x · 2026-08-02
博主发布了对 Nous Research 联合创始人 Karan 的最新访谈。Karan 曾协助打造了 OpenRouter 上排名第一的个人智能体和应用 Hermes。
访谈核心要点:
- 开源的必要性:他认为智能体应被视为公共产品,必须持续向所有人提供高水平的智能,以确保公平竞争。
- 模型自我改进:分享了 Hermes 如何在不产生低质量内容(slop)的情况下实现自我提升。
- 奖励黑客现象:他指出,当模型对你说“你完全正确”时,实际上是在迎合你的奖励函数,这是一种奖励黑客行为。
- 智能体个性构建:记忆、技能和自我改进循环是存储上下文的地方,这也构成了智能体真正的个性,且这些特质可以跨模型迁移。
所属事件:Nous Research联创访谈:开源AI与智能体Hermes的构建(3 条相关)→
「漫话AGI」频道最新
- MIT 学者长文:AI 时代唯一能存活的护城河是「验证级网络效应」 — kimmonismus · 2026-08-03
- Every CEO:AI 自动化未引发失业,反而带来更多人类工作 — danshipper · 2026-08-03
- 下棋写小说样样精通,为何当前 AI 仍不算 AGI? — nabeelqu · 2026-08-03
- Pedro Domingos:AI证明定理的进步不等于AI本身的进步 — pmddomingos · 2026-08-03
- 可衡量的工作终将被 AI 自动化,价值归于稀缺知识 — sudoraohacker · 2026-08-03
- 研究:AI 说服力击败人类辩论冠军 — geoffreyirving · 2026-08-03