重建 ffmpeg 基准将饱和:耗时仅 GitHub issue 的零头
jyangballin · x · 2026-10-24
作者推出一个测试模型重建 ffmpeg 能力的基准网站,展示了各模型的数字、轨迹与生成的代码库。他判断:饱和这个基准所需时间,将只是当年饱和 GitHub issue 解决类基准(SWE-bench)所用 3 年的一个零头,感叹时代变化之快。
所属事件:新基准 ProgramBench 测模型重建完整程序 榜首仅 18.5%(2 条相关)→
「研究」频道最新
- 量化模型「幻觉」出提示注入：海盗分金谜题与凭空捏造的 Windows 攻击 — Consumerbot37427 · 2026-10-24
- AgentVQA 基准发布：1000 个人工核验样本离线评测视觉智能体 — liuzhuang1234 · 2026-10-24
- Science 研究：STAT2 内含子保留可预测肺癌免疫治疗响应与生存期 — EricTopol · 2026-10-24
- 伯克利 Shreya Shankar 谈数据 Agent：最强模型首轮仅过 61% 查询 — sh_reya · 2026-10-24
- 经济学家新论文提出「瓶颈压力」指标:AI 做不了的工作价值将上升 — soumitrashukla9 · 2026-10-24
- 64GB 内存+RTX 3060 跑满血 DeepSeek-V4.1-Flash：7.4 tok/s、98.3% 一致率 — Muted_Context_1999 · 2026-10-24