受 Jev 启发,开发者给 Qwen2.5-1.5B 装上非自回归决策头,批处理仅 28ms

CryOrganic8886 · reddit · 2026-09-20

受 TypeSafe AI 的 Jev 非自回归决策引擎启发,Reddit 用户 Brinij 做了一个本地概念验证项目 AES,基于开源的 Qwen/Qwen2.5-1.5B-Instruct,不生成 token,而是在单次 prefill 后取最终隐层状态,经自定义 FP32 SwiGLU 探针,直接与候选 token embedding 算余弦相似度,实现 NOUL/CHOICE/SCORE 三种决策原语。

训练数据仅约 3200 条样本(BoolQ、ARC、Yelp),用免费 Kaggle T4 跑了 1 个 epoch,零样本泛化能力有限。实测批处理约 28ms,在单 token 锚点(A/B/C/D、true/false)的简单明确选择题上表现良好,长多词字符串选项则不佳。模型已开源在 Hugging Face。