开源 Platypus：模仿海马体-皮层双系统的持续学习语言模型
ChrisLLM · reddit · 2026-11-01
一位非研究者的副业开源项目 Platypus（Apache 2.0，字节级语言模型），基于互补学习系统（CLS）理论——模拟大脑快海马体+慢皮层的分工：
- 按 10 个 Pile 域顺序学习，无灾难性遗忘（实验中遗忘略为负值）
- 在训练权重旁维护快速情景事实存储
- 每学完一个域「睡眠」：跨位置关联事实形成两跳/三跳新结论，对照引用原句校验后写入存储
- 事实变化时修订信念，证据不足时拒答；无规则模式下实体关系来自词统计，只在压缩收益为正时保留链接
实测：植入测试链上双跳/三跳召回达 1.00 且无额外遗忘；自然文本较难（双跳约 0.77）。核心开放难题是把快速存储知识固化进权重——任意事实在安全学习率下无法迁移，与 CLS 理论预测一致，作者正试验 schema 级与关系模式回放（171M 参数 GPU 实验进行中），征求批评与贡献。
「研究」频道最新
- 开源记忆层 ICE 实测:复杂度不低,却输给纯向量 RAG — Deepnar_S · 2026-11-01
- 仅 109M 参数小模型图像-文本对齐超越 72B 模型,训练数据省 42 倍 — Lazylion2 · 2026-11-01
- 猜架构谜题:三张空白结构图考你认不认识经典 ML 模型 — cneuralnetwork · 2026-11-01
- TIL：布尔电路其实可以是环形结构，不必是无环 DAG — thomasahle · 2026-11-01
- 从 Attention 到 TTT:一文梳理「平均化」路线的演进脉络 — SonglinYang4 · 2026-11-01
- AI 专家「5% 灭绝风险」表述存偏:原调查问的还有严重失权 — NathanpmYoung · 2026-11-01