9 个模型答对仅 1 个:套上 RLM harness 后全部答对
PawarBI · x · 2026-09-27
微软 Fabric 团队的 Sandeep Pawar 发文《Fabric RLM: Why Harness Matters》,用一个例子说明给模型配 harness(工作环境)比换模型更有效。
- 实验:问「一周七天里有几天名字含字母 d?」(答案是 7)。直接问 9 个来自 OpenAI、Mistral、Google、Qwen 的中小模型,8 个答错(只对 1/9);同样的问题通过 Fabric-RLM 问,9 个全部答对(9/9)。作者还补了 gpt-5.6-sol 的结果作对照。
- 原因:LLM 读的是 token 而非字母,"Monday" 是一两个 token 而不是六个字符,模型是在根据 token 记忆猜答案,属于模型「看文本方式」的盲点而非知识缺失。
- 做法:Fabric-RLM 不给模型额外知识,而是给它一个可工作的场所——Python 工作空间和循环,让模型能实际执行代码来数字母。
- 结论:模型没变,改变的是使用模型的方式,harness 的设计至关重要。
「编程与Agent」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ffmpeg-skill 爆火:42 个 FFmpeg 工具让编码 Agent 本地剪视频 — kajisho5 · 2026-11-16
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- lemire:AI 改变编程的不是速度,而是扩大工程师的「认知半径」 — lemire · 2026-11-16