Hacker News 热文：用 INT4 记忆单元为 LLM 注意力引入持久状态机
yusuke_esaka · hn · 2026-08-02
探讨了一种为大型语言模型（LLM）注意力机制引入持久状态的新架构方法。
核心要点：
- 提出在注意力机制中引入INT4 记忆单元，使模型能够跨推理步骤保持持久状态。
- 这种机制类似于持久状态机，有助于改善模型在长上下文或需要状态追踪的任务中的表现。
- 为解决大模型长文本处理中的记忆遗忘问题提供了新的底层架构思路。
「研究」频道最新
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- 学者争论：AI 将超越人类做科学，欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16
- 上海 AI Lab 提出 SERO：用可执行 Oracle 续跑训练长程智能体强化学习 — Shanghai-AI-Laboratory · 2026-10-16
- 清华联手高德发布 OmniVerifier-C1：把二元验证器升级为细粒度打分 — Bowei Liu · 2026-10-16
- 阿里开源 MAI-Gym：移动与桌面 GUI Agent 评测加强化学习训练一体化平台 — Tongyi-MAI · 2026-10-16
- 北大发布 SimForcing：把仿真运动先验蒸馏进真实机器人世界模型 — PekingUniversity · 2026-10-16