120 例对比测试：Hy-Memory 召回 100% 却全军覆没空例
stevyhacker · reddit · 2026-10-23
LokalBot 开发者测试本地 LLM 做『记忆写入』时能否既召回有用信息又遵守负向约束（不保存该忽略的内容）。基准扩充为 120 个合成案例（60 组对比对），主评测 96 个英文案例：52 个含一条应提取的记忆，44 个正确输出应为空列表。四款模型统一在 llama.cpp、温度 0、seed 0、强制 JSON schema 下运行。
关键结果：
- Qwen3.5 4B：召回 30/52（57.7%），多余提议仅 3 条，空例正确 95.5%
- Qwen3.5 9B：召回 37/52（71.2%），多余提议 5 条，空例正确 90.9%
- Hy-Memory 30B-A3B：召回 52/52（100%），但多余提议高达 76 条，44 个空例全军覆没——只看召回率会完全掩盖这个缺陷
- LFM2.5 24B-A2B：召回 40/52（76.9%），空例正确仅 22.7%，且受指令中的示例污染（照抄『I live in Belgrade』）与引用格式混乱困扰；事后映射可修复 18 个无效引用中的 9 个
结论：好的记忆写入器需要 recall 与 restraint 兼备，单看召回率会高估 Hy-Memory 这类模型；Qwen 系列在该提示词下更克制。
「研究」频道最新
- 首次人体体内 prime editing 治疗完成注射,直接改写 DNA — basedjensen · 2026-10-23
- 经典意义的世界模型 (s, a → s′)：充当神经版 MuJoCo 模拟器 — yshan2u · 2026-10-23
- Gen-HumanWholeBody 全身操作数据集开源:600 小时、1281 种人类技能 — AdinaYakup · 2026-10-23
- 单细胞动力学模型 DynaVelo 发表于 Nature Biotechnology — anshulkundaje · 2026-10-23
- UCSD SplatLab:一条 prompt 自动复现并撰写 3DGS 研究 — UCSanDiego · 2026-10-23
- RTAformer 提出「关系语义惯性」解法,攻克视频场景图生成难点 — Jaeyeon Heo · 2026-10-23