96.8% 评测标注来自模型预测：Property Finder 修正评测偏差后成本降 86%
AWS ML Blog · rss · 2026-10-28
AWS ML Blog 与房产平台 Property Finder 的工程复盘：他们在迁移 Bedrock 视觉 AI 工作负载时发现，评测集里 96.8% 的标签直接继承自现有 VLM 的预测而非人工验证——答案钥匙由被评测的模型自己书写，任何替代模型天然处于劣势，且标签本身还有幻觉水印、单标签错标等错误。
修正评测的方法
- 由领域专家对 356 张阿联酋图片独立重新标注（256 张开发集 + 100 张评测集），全程不看模型输出；另用 230 张埃及图片做跨区域检验
- 房产图常一图多房间，从单标签改为多标签分类，消除人为歧义
- 指标：Micro F1 为主（对齐业务目标），辅以 Macro F1、逐标签 precision/recall、逐样本 IoU
以强化学习思路做提示词优化
- 把每个 prompt 版本当 agent、Micro F1 当奖励、错误分析当梯度，v0→v27 迭代（类似 GEPA，后期用 DSPy 的 MIPROv2 自动优化）
- 生产基线专有模型 Micro F1 仅 0.55 起步
最终在无偏评测下选出的模型精度更高，成本降低 86%。文中附完整 prompt 优化循环架构图，方法论可直接套用于自有工作负载。
「编程与Agent」频道最新
- Nous Research 接入 Memelord MCP 后日日新增用户不断 — NousResearch · 2026-10-28
- Context engineering 两条实操心法：一个根文件、且要足够短 — Al_Grigor · 2026-10-28
- Garry Tan 推荐 GBrain 客服代理：回信草稿、通话纪要、流失挽留全自动 — garrytan · 2026-10-28
- Creator Studio 上新：应用内 AI 助手支持 MCP，Keynote 格式开源 — rxwei · 2026-10-28
- 开源缆绳机器人 Stringman 售 795 美元，4 电机管整个房间还带 MCP — GregKamradt · 2026-10-28
- Proof of Agent：让 AI 智能体自己挖矿、评分、治理的实验网络走红 — adamamcbride · 2026-10-28