符号规则助手 CAEL 在 900 道新题上击败多个小参数 LLM
Silver_Employ2617 · reddit · 2026-11-07
CAEL(一个用符号规则、计数与自动机实现的非神经网络 Python 助手)发布 0.3.9.1,作者用 900 道新生成的合成题做迁移测试。
结果：
- CAEL 候选版答对 777/900,远超基线版 414,也超过 Falcon3-Mamba-7B(353)、xLSTM-7B(273)、RWKV-7(247)等神经基线——但注意神经基线用的是固定 A/B/C/D next-token 打分，非其最佳对话能力。
- 更有意义的迁移指标：新措辞的一半题目上 CAEL 得 327/450,而基线仅 92/450;123 次弃答全计为错。
- 作者坦承局限：任务族已知、开发自适应、撰写未盲评，无法保证对各模型的预训练数据完全隔离；安装默认配置与被评测配置不同。
- 项目非 OSI 开源(source-available),全部题目、原始输出与验证脚本公开。
「研究」频道最新
- 研究者质疑 scaling 分析：模型设定离散跳跃为零是否先入为主 — JacquesThibs · 2026-11-08
- 机器人操作新方法 PIVOT 被 CoRL 2026 接收：从部署经验持续改进策略 — ZeYanjie · 2026-11-08
- Two Minute Papers 拆解 OpenAI Astra 权重空间编程新玩法 — Two Minute Papers · 2026-11-08
- 单细胞 eQTL 工具 SAIGE-QTL 发表于 Nature Genetics — anshulkundaje · 2026-11-08
- François Fleuret 与 lucidrains 隔空推演激活归一化公式的数值风险 — giffmana · 2026-11-08
- MaxxBench 揭刷榜真相:DeepSWE 同分 74% 的模型实测相差 23 个百分点 — dyn___ · 2026-11-08