被追问评测方法后承认未检查输出,harness 结论遭质疑
xeophon · x · 2026-09-18
- 面对 paulcal「你用了什么 grader」的追问,xeophon 回答不知道,且没实际查看输出。
- 这使「15 种 harness 结果一致、harness 不重要」的结论可信度打折扣:未核对输出就下结论本身成为讨论焦点。
「编程与Agent」频道最新
- OutlierKit 开放 YouTube 研究 API 与 10 工具 MCP 服务器 — ayushtweetshere · 2026-09-18
- Cloudflare 自曝在造新一代 CI/CD:用 TypeScript 编写管道,公开征集需求 — dinasaur_404 · 2026-09-18
- ProgramAsWeights 把自然语言描述编译成本地运行的微型神经程序 — yuntiandeng · 2026-09-18
- MonidHQ 推出免费 agent 搜索方案,叫板 Exa、Tavily 的按次收费 — gnukeith · 2026-09-18
- Jev 模型专攻低中熵任务,开发者称前端模型只留给高熵活 — multiply_matrix · 2026-09-18
- Bend 2 中实现 SHA-256 并给出机器可验的正确性证明 — banteg · 2026-09-18