YC 创始人提出 Jcode bench v1，想让编码评测更难刷分
Medium_Anxiety_8143 · reddit · 2026-07-22
一位 YC-backed 创始人认为，现有 coding benchmark 普遍存在 容易刷分、成本高、污染、二元判定、粒度粗、容易饱和 等问题。
他提出了 Jcode bench v1：只保留少量非常常见的函数优化任务，让模型不断提交改进版实现，并对所有可能输入进行评分，从而得到连续分数曲线。作者认为这种设计更便宜、可重复、确定性更强，也更难被“benchmaxx”，更接近真实世界里的持续优化过程。
「编程与Agent」频道最新
- Runway 发布 App Studio：描述即生成图片视频音频创意应用，无需代码 — runwayml · 2026-10-27
- 用 $28 算力让模型给自己造 copilot：他的新模型个人基准 — bucolucas · 2026-10-27
- 创始人和 Claude 4 天产 46 条 App 视频，省下 1.15 万美元 — PrajwalTomar_ · 2026-10-27
- Agent 中途改计划该被允许吗：真实系统介入时的边界之辩 — wistfulcracker84 · 2026-10-27
- HeyGen 联手 Canva:幻灯片讲者备注自动变数字人讲解视频 — HeyGen · 2026-10-27
- 隐私场景实测：本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27