实测:Luna 6 全面不如 5.6,便宜 50% 却漏报关键信息
skilliard7 · reddit · 2026-09-23
一位维护 agentic 数据报告工具的开发者发帖称,Luna 6 相比 Luna 5.6 是“大幅退步”。他原本被 Luna 6 略好的跑分和便宜 50% 的价格吸引,用 high effort 档做了 A/B 测试后得出结论:
- 所有涉及审阅书面报告、找出相关条目的 eval,Luna 6 都会漏掉一条或多条相关项,5.6 则不会;
- Luna 6 明显更“惜字如金”,倾向用最少 token 回答,经常只说“找到 7 条”而不列出内容,逼用户追问;
- 多个用例下找不到任何一例 Luna 6 答得比 5.6 好。
作者决定在自己的应用中继续留在 Luna 5.6。帖子核心信息:基准分数与实际 agent 工作流表现可能严重脱节,升级前务必用真实任务做 A/B。
「编程与Agent」频道最新
- 他设想把 ChatGPT/Codex 变成可视化插件开发环境 — Former_Worldliness70 · 2026-09-23
- boxd_sh 被赞 agent 持久云电脑利器:计费、时序与开发者体验俱佳 — tobowers · 2026-09-23
- 开源 AI 印度股票日内交易机器人:每 15 秒给 Nifty 50 排序下单 — IndraVahan · 2026-09-23
- Planner 复现不了坏计划:Agent 平台调试到底该存什么状态 — fishyguy3123 · 2026-09-23
- Yoav Goldberg:部分任务可用正则等确定性规则,agent 能帮忙写 — yoavgo · 2026-09-23
- 开发者正从 Fable 转向 GPT-6 Astra,再迁往 Opus 5.5 — rudrank · 2026-09-23