YC 创始人提出 Jcode bench v1，想让编码评测更难刷分
Medium_Anxiety_8143 · reddit · 2026-07-22
一位 YC-backed 创始人认为，现有 coding benchmark 普遍存在 容易刷分、成本高、污染、二元判定、粒度粗、容易饱和 等问题。
他提出了 Jcode bench v1：只保留少量非常常见的函数优化任务，让模型不断提交改进版实现，并对所有可能输入进行评分，从而得到连续分数曲线。作者认为这种设计更便宜、可重复、确定性更强，也更难被“benchmaxx”，更接近真实世界里的持续优化过程。
「编程与Agent」频道最新
- 用一个 AI 对话窗口替代四个传统 SaaS 订阅 — ahuja_priyank · 2026-07-22
- browser-search v2.0 给 agent 配了自托管浏览器栈和确定性脚本 — Ill-Tradition1362 · 2026-07-22
- 工程师用 C 重写 Transformer 引擎，发现难点在周边系统 — RelevantShape3963 · 2026-07-22
- 多智能体内容流水线输给了一个提示词和模板 — AcademicRevenue4815 · 2026-07-22
- LinkedIn 用 LangGraph 招聘智能体将面试周期缩短 60% — LangChain · 2026-07-22
- 团队把生产库权限给了 agent，现在却审计不了它们 — Alessandro_Lena_410 · 2026-07-22