微软 Pamela Fox 实测四模型互换:计数、RAG、工具调用逐项过招
AI Engineer · youtube · 2026-10-19
AI Engineer 频道发布 World's Fair 2026 工作坊视频,微软首席云布道师 Pamela Fox 在 Microsoft Foundry 上用同一组场景实测 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 与 Mistral Large 3,论证「benchmark 说明不了模型在你应用里的行为,换进去测才知道」。
- 能力差异:从数字母计数 prompt 开始,逐级测到 RAG 事实性、图像输入、多语言陷阱、工具调用、循环工具调用与 LangChain v1 旅行 agent;展示 prompt 工程能弥合部分差距,但图像理解差距补不上。
- 评测方法:字符串断言 eval、LLM-as-a-judge 批量评测;微软新的 ASSERT 工具可从规格直接生成测试集;并用 DSPy 做提示优化,找到最便宜模型也能满足的 prompt。
- 视频含完整章节目录,ASSERT 开源于 GitHub(responsibleai/ASSERT)。
「编程与Agent」频道最新
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工，实测有效 — nbaschez · 2026-10-23