不用 LLM 监控 LLM：Olki 用类型系统为 Agent 行为分类
bigdata · x · 2026-11-05
The Data Exchange 播客邀请 Modiqo 创始人 Chetan Conikee，介绍其 Agent 可观测性工具 Olki 的设计思路。
核心观点：目前多数 AI 可观测性方案用另一个 LLM 来解读 Agent 日志并分类行为，但这会引入自身的不确定性、延迟和推理成本。Olki 反其道而行，用严格类型系统（type systems）与 effects algebra 对 Agent 的每个操作进行确定性分类，不依赖 LLM。
讨论要点：
- 将 Agent 执行的一条复杂命令拆解为单独操作进行追踪
- 成本归因、性能与 Agent 效果度量
- 检测高风险 Agent 行为、防止日志篡改等安全问题
- 本地优先（local-first）监控带来的隐私与企业管控优势
- 早期用户反馈集中在优化 context compaction 与降低 token 消耗
- OpenTelemetry 与 hooks 两种实时采集 Agent 活动方式的对比
「编程与Agent」频道最新
- 死站交给 Claude Code 三周跑 24 个实验,流量暴涨 100 倍 — doooyle · 2026-11-05
- ClankerCloud 曝光新 Agent 构建 UX:简单版与工作流版双轨难调 — tekbog · 2026-11-05
- 用户实测：管理好上下文后 Codex 额度几乎用不完 — haider1 · 2026-11-05
- 创业者晒 GStack 多 Agent 例会流：Office Hours 接力 CEO Agent 排冲刺 — garrytan · 2026-11-05
- 把「这个回答更好」变成可复用测试：Every 演讲讲模型评测与回归捕捉 — every · 2026-11-05
- Box 用英伟达 Nemotron 做内容检索：快 4 倍、省 90% token — gaganghotra_ · 2026-11-05