实时多模态+智能 steering，或造出 qualitatively 不同的 agent

jakedahn · x · 2026-09-25

开发者 jakedahn 提出一个关于下一代 agent 的猜想：当开源（"jev flavored"）路线的模型支持图像、实时音频、实时视频等多模态能力后，可以用它们来"surf reality"——直接感知并响应真实世界，这是今天基于文本的 LLM 和 agent 做不到的。

他认为，如果把这种对真实世界的实时 steering 能力与更聪明的 LLM 结合，可能会产生与现有 agent 有质的差异的 agent，甚至是一条通往更流畅的 agent 之间协作的路径。