把 vibe testing 变成指标:LLM 主观评测新论文登陆 COLM 2026
boknilev · x · 2026-10-08
论文《From Feelings to Metrics》试图解决一个常见痛点：排行榜第一的模型用起来却总觉得不对劲，很多用户只能靠手动 vibe-testing 比较模型是否适合自己的需求。
作者 Itay Itzhak 将在 COLM 2026 下午 poster 环节（grand ballroom，poster 10）展示这项工作，核心思路是把用户的主观感受转化为结构化的评测指标，替代单纯的 leaderboard 排名。
「研究」频道最新
- 1500万参数小模型3周通关Craftax,击败GPT-6且成本仅1美分 — hyperparticle · 2026-10-08
- OpenAI 未审稿预印本称矩阵乘法指数降至 2.25,创 47 年最大降幅 — BorisMPower · 2026-10-08
- Google 新联邦学习设计把服务器访问策略写入公开日志 — Crescitaly · 2026-10-08
- AI2 Bolmo 分词器消除全球南方文字的「token 税」 — Kyle_L_Wiggers · 2026-10-08
- TEMPO 给 VLA 补上时间上下文,机器人接瓶成功率从 44% 升到 74% — _krishna_murthy · 2026-10-08
- CheckerBench：300 道任务测出编码 Agent 写静态检查器最好仅 45% 通过率 — humanlaya-data-lab · 2026-10-08