免微调复现 Jev:读 true/false logits,27B 达 75.5% 准确率
Malfeitor1235 · reddit · 2026-09-21
开发者 VakeDomen 发布 DIY-Jev:不用 NLI 微调或分类头,用完全未修改的开源权重模型做 Jev 式推理验证。
方法:把每个候选答案转成布尔判断——拼接 <state>/<question>/<options>/<candidate> 后,不生成文本,直接读取 true/false 的 logits,对每个候选求差再 softmax(昂贵的前缀只算一次,候选分支仅末尾 token 不同,批量过 llama.cpp)。
32,235 例基准成绩(笔记本 RTX 5090 24GB):
- Qwen3-4B:65.0%,约 27 req/s
- Qwen3-27B:75.3%,约 2.9 req/s
- Qwen3.6-35B-A3B:75.5%,约 5.3 req/s
有意思的结论:不训练任何东西、只靠读 logits,同一模型可超过 OpenJev 的微调版。作者声明不保证严格复现 Jev、基准也非完全对齐,但展示了「零训练调提示」的上限。代码开源于 GitHub DIY-Jev。
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12