给 Qwen 每层装上模拟神经递质:噪声+PID 稳态控制实验
Crazy-Bat8405 · reddit · 2026-11-12
开发者发布 NeuroQwen 项目(Colab notebook + GitHub repo brainllm),在 4-bit Qwen2.5 之上叠加一套模拟神经化学系统,不改任何权重:
- 机制:每个 transformer 层维护 6 种"神经递质"活向量(多巴胺、血清素、去甲肾上腺素、乙酰胆碱、谷氨酸、GABA),每个 token 生成时受随机噪声扰动,由 PID 控制器拉回平衡(稳态);对立化学物质互相抑制,相邻层之间还有化学"扩散"。
- 推拉提示词:环境随机生成 push 提示(如"高度警戒,一切都很紧急")推动状态,控制器再写 pull 提示对抗最大偏移。
- 化学物质的作用:谷氨酸/GABA 缩放 MLP 输出,乙酰胆碱缩放注意力增益,多巴胺增强注意力输出和 logit 置信度,血清素抑制注意力输出并收窄 top-p,去甲肾上腺素增加激活噪声并升高温度;不同深度敏感度不同。
作者征求反馈:如何更好地把"化学物质"映射到层计算、能否训练成化学门控 LoRA 而非推理时 hook、以及衡量稳态对输出质量影响的更干净指标。
「研究」频道最新
- Latent Sparse Attention 用聚类索引 KV，比全注意力快 70 倍 — bendee983 · 2026-11-12
- Flash ALOHA 发布：50 条演示学会近人类速度精细操作 — Thom_Wolf · 2026-11-12
- 浙大小红书等发布 CARTBench：复杂购物建议评测，无一模型超 45% — Yuqin Dai · 2026-11-12
- 数学基准新成绩单曝光:GPT-6.1 Sol 90.43% 居首,低成本模型表现亮眼 — teortaxesTex · 2026-11-12
- e-means 聚类算法提速 10-45 倍，1.4 个 epoch 就击败 k-means — pmttyji · 2026-11-12
- 研究称 LLM 性别偏见普遍存在且模型间差异显著 — ValerioCapraro · 2026-11-12