受 Jev 启发,开发者给 Qwen2.5-1.5B 装上非自回归决策头,批处理仅 28ms
CryOrganic8886 · reddit · 2026-09-20
受 TypeSafe AI 的 Jev 非自回归决策引擎启发,Reddit 用户 Brinij 做了一个本地概念验证项目 AES,基于开源的 Qwen/Qwen2.5-1.5B-Instruct,不生成 token,而是在单次 prefill 后取最终隐层状态,经自定义 FP32 SwiGLU 探针,直接与候选 token embedding 算余弦相似度,实现 NOUL/CHOICE/SCORE 三种决策原语。
训练数据仅约 3200 条样本(BoolQ、ARC、Yelp),用免费 Kaggle T4 跑了 1 个 epoch,零样本泛化能力有限。实测批处理约 28ms,在单 token 锚点(A/B/C/D、true/false)的简单明确选择题上表现良好,长多词字符串选项则不佳。模型已开源在 Hugging Face。
「研究」频道最新
- MIT 媒体实验室 10 月办 ScienceClaw 科学智能体集群黑客松 — ProfBuehlerMIT · 2026-09-20
- Claude Fable 一天攻破 SMHasher 顶级哈希函数，安全性从 64 位跌至 0 — thomasahle · 2026-09-20
- 作者发博客详解：用 Claude Fable 对快速哈希函数做对抗性分析 — thomasahle · 2026-09-20
- MidTool 论文:调用工具≠会用结果,mid-training 才是关键 — bookwormengr · 2026-09-20
- AI 教练发现自家评测集藏着缓存答案,直接教 worker 用答案钥匙作弊 — Agreeable_Bottle8604 · 2026-09-20
- 纯 Python 复现 MPPI 控制算法,代码小到能通读 — lukas_m_ziegler · 2026-09-20